[論文レビュー] Automated Graph Machine Learning: Approaches, Libraries, Benchmarks and Directions

Xin Wang, Ziwei Zhang+2 more|arXiv (Cornell University)|Jan 4, 2022

Advanced Graph Neural Networks被引用数 6

ひとこと要約

本論文は、グラフニューラルネットワーク向けのハイパーパramータ最適化（HPO）およびニューラルアーキテクチャサーチ（NAS）に焦点を当てた、自動化されたグラフ機械学習に関する包括的サーベイを提示する。世界で最初のオープンソースの自動グラフML専用ライブラリであるAutoGLを紹介し、スケーラビリティ、説明可能性、ハードウェアに配慮した設計といった、主な課題と今後の研究方向性を提示する。

ABSTRACT

Graph machine learning has been extensively studied in both academic and industry. However, as the literature on graph learning booms with a vast number of emerging methods and techniques, it becomes increasingly difficult to manually design the optimal machine learning algorithm for different graph-related tasks. To tackle the challenge, automated graph machine learning, which aims at discovering the best hyper-parameter and neural architecture configuration for different graph tasks/data without manual design, is gaining an increasing number of attentions from the research community. In this paper, we extensively discuss automated graph machine learning approaches, covering hyper-parameter optimization (HPO) and neural architecture search (NAS) for graph machine learning. We briefly overview existing libraries designed for either graph machine learning or automated machine learning respectively, and further in depth introduce AutoGL, our dedicated and the world's first open-source library for automated graph machine learning. Also, we describe a tailored benchmark that supports unified, reproducible, and efficient evaluations. Last but not least, we share our insights on future research directions for automated graph machine learning. This paper is the first systematic and comprehensive discussion of approaches, libraries as well as directions for automated graph machine learning.

研究の動機と目的

• 多様なタスクにおける最適なグラフ機械学習モデルを設計するために増大する複雑さと人的作業の負担を軽減すること。
• 自動化されたグラフ機械学習における既存のアプローチ、特にHPOとNASを体系的かつサーベイすること。
• 自動化されたグラフ機械学習を専用に設計された世界で最初のオープンソースライブラリであるAutoGLを紹介すること。
• スケーラビリティ、説明可能性、耐性といった、自動化されたグラフMLにおける重要な課題と今後の研究方向性を特定すること。
• 学術的および産業的応用における自動化されたグラフ機械学習の採用と発展を促進すること。

提案手法

• HPOとNASに焦点を当てた、自動化されたグラフ機械学習における既存のアプローチをサーベイおよび分類すること。
• 自動HPOとNASをサポートする専用のオープンソースフレームワークであるAutoGLの導入。
• グラフ学習における探索空間、探索戦略、パフォーマンス推定の拡張性を備えたAutoGLの設計。
• 探索空間設計、探索戦略（例：強化学習、進化的アルゴリズム）、パフォーマンス推定技術に基づいて、異なるNAS手法を比較すること。
• 自動化されたグラフ機械学習のための体系的評価フレームワークの提案。Cora や PubMed といった伝統的データセットにとどまらない包括的なベンチマークの必要性を強調すること。
• 実世界の展開における効率性とスケーラビリティを向上させるために、ハードウェアに配慮した設計原則を自動化されたグラフ機械学習に統合すること。

実験結果

リサーチクエスチョン

• RQ1 自動化されたグラフ機械学習は、最適なGNNアーキテクチャーやハイパーパramータを設計するために必要な人的作業をどのように軽減できるか？
• RQ2 HPOとNASを大規模なグラフデータセットや実世界の応用にスケーリングする際の主な課題は何か？
• RQ3 特にリスク感受性の高い分野において、説明可能性と耐性をどのように向上させられるか？
• RQ4 グラフベースのモデルは、単にグラフにAutoMLを適用するのではなく、AutoMLパイプラインを強化するために果たす役割は何か？
• RQ5 多様なベンチマークにわたって自動化されたグラフML手法を公平に比較できる、包括的な評価プロトコルはどのように開発できるか？

主な発見

• AutoGLは、HPOとNASを拡張可能なコンponentでサポートする、世界で最初のオープンソースの自動グラフML専用ライブラリである。
• グラフ向けの既存のHPO手法（例：ベイズ最適化）は、特に大規模なグラフにおいて高い計算コストのため、スケーラビリティに制限を受ける。
• 潜在的な可能性は大きいものの、グラフ学習におけるNASはまだ十分に検討されておらず、大規模なグラフデータセットへのスケーリングに対応する研究は少数にとどまる。
• Cora や CiteSeer、PubMed といった現在のベンチマークは、グラフAutoML手法の評価には不十分であり、より包括的な新しいベンチマークの必要性が生じている。
• 説明可能性と分布外一般化は依然として主要な課題であり、特定のNASやHPO設定が他のものより優れる理由についての体系的でない研究が限られている。
• ハードウェアに配慮した設計は、重要な研究方向性として浮上しているが、ハードウェアに配慮したモデルをグラフAutoMLパイプラインに統合する作業はまだ初期段階にとどまっている。