[論文レビュー] AutoGL: A Library for Automated Graph Learning

Ziwei Zhang, Yijian Qin+12 more|arXiv (Cornell University)|Apr 11, 2021

Advanced Graph Neural Networks被引用数 12

ひとこと要約

AutoGL は、グラフ上の自動機械学習に特化した最初のオープンソースライブラリであり、モジュラーで拡張可能なフレームワークを提供する。三層アーキテクチャにより、自動特徴工学、ニューラルアーキテクチャサーチ（NAS）、ハイパーパramータ最適化（HPO）、モデル学習、自動アンサンブルをサポートする。PyTorch Geometric および DGL と統合されており、10行未満のコードで迅速な実験が可能。また、グラフニューラルネットワークアーキテクチャサーチのための最初の表形式ベンチマークである NAS-Bench-Graph を搭載し、最小限の計算コストで再現可能で効率的なNASを実現する。

ABSTRACT

Recent years have witnessed an upsurge in research interests and applications of machine learning on graphs. However, manually designing the optimal machine learning algorithms for different graph datasets and tasks is inflexible, labor-intensive, and requires expert knowledge, limiting its adaptivity and applicability. Automated machine learning (AutoML) on graphs, aiming to automatically design the optimal machine learning algorithm for a given graph dataset and task, has received considerable attention. However, none of the existing libraries can fully support AutoML on graphs. To fill this gap, we present Automated Graph Learning (AutoGL), the first dedicated library for automated machine learning on graphs. AutoGL is open-source, easy to use, and flexible to be extended. Specifically, we propose a three-layer architecture, consisting of backends to interface with devices, a complete automated graph learning pipeline, and supported graph applications. The automated machine learning pipeline further contains five functional modules: auto feature engineering, neural architecture search, hyper-parameter optimization, model training, and auto ensemble, covering the majority of existing AutoML methods on graphs. For each module, we provide numerous state-of-the-art methods and flexible base classes and APIs, which allow easy usage and customization. We further provide experimental results to showcase the usage of our AutoGL library. We also present AutoGL-light, a lightweight version of AutoGL to facilitate customizing pipelines and enriching applications, as well as benchmarks for graph neural architecture search. The codes of AutoGL are publicly available at https://github.com/THUMNLab/AutoGL.

研究の動機と目的

• グラフ上の自動機械学習に特化した包括的なライブラリの不足に対処すること。
• 多様なデータセットやタスクに適した最適なグラフ学習アルゴリズムを設計するために必要な手動作業や専門知識を削減すること。
• 自動グラフ学習における柔軟で拡張可能で再現可能な研究開発と応用開発を可能にすること。
• PyTorch Geometric や DGL といった主要なグラフ学習ライブラリと互換性のある統一的で使いやすいフレームワークを提供すること。
• NAS-Bench-Graph を導入し、グラフニューラルネットワークアーキテクチャサーチのための最初の表形式ベンチマークを提供することで、再現可能性とNAS手法の効率的比較を確保すること。

提案手法

• AutoGL は三層アーキテクチャを採用している：デバイスインターフェース（PyTorch Geometric および DGL）を提供するバックエンド、完全な自動グラフ学習パイプライン、およびサポートされるグラフアプリケーション。
• パイプラインには、自動特徴工学、ニューラルアーキテクチャサーチ（NAS）、ハイパーパramータ最適化（HPO）、モデル学習、自動アンサンブルの5つのコアモジュールが含まれており、それぞれ標準化されたベースクラスとAPIを備えている。
• AutoGL Solver は、複雑な設定を単純で合成可能なインターフェースに抽象化する高レベルAPIとして機能し、フルワークフローを調整する。
• ノード分類、リンク予測、グラフ分類、自己教師学習、ロバスト学習、異種ノード分類を含む多様なグラフタスクをサポートする。
• NAS-Bench-Graph はパフォーマンス推定器として統合されており、9つのベンチマークデータセットで26,206個のユニークなGNNアーキテクチャのメトリクスを事前に計算・保存している。
• AutoGL-light は、新しいパイプラインのカスタマイズや迅速プロトタイピングに適した、軽量でモジュラーなAutoGLのバージョンである。

実験結果

リサーチクエスチョン

• RQ1 統一的で拡張可能かつ使いやすいライブラリを通じて、グラフ上の自動機械学習を体系的かつ効果的に支援することは可能か？
• RQ2 PyTorch Geometric や DGL といった既存のグラフ学習ライブラリをAutoMLフレームワーク内で効率的に統合するためのアーキテクチャ設計はどのようなものか？
• RQ3 グラフニューラルネットワークアーキテクチャサーチのための表形式ベンチマークが、再現可能性とNAS研究の効率を向上させられるか？
• RQ4 AutoGL は、最小限のコードと計算コストでエンドツーエンドの自動グラフ学習をユーザーに可能にするか？
• RQ5 AutoGL に NAS-Bench-Graph を統合することで、グラフニューラルネットワークのニューラルアーキテクチャサーチがどれほど高速化され、標準化されるか？

主な発見

• AutoGL を用いることで、ユーザーは10行未満のコードで自動グラフ学習を実行でき、研究者や実務家が入りやすくなる。
• ライブラリは自動特徴工学、NAS、HPO、モデル学習、自動アンサンブルをカバーする包括的なパイプラインを提供しており、各モジュールで最先端の手法を統合している。
• NAS-Bench-Graph は、9つの多様なデータセットで26,206個のユニークなGNNアーキテクチャのパフォーマンスメトリクスを事前に計算・保存しており、高速で再現可能なNASを実現する。
• NAS-Bench-Graph を用いることで、AutoGL はフルトレーニングに代えてベンチマークからのパフォーマンス推定を用いることで、最小限の計算コストでNASを実行可能にする。
• NAS-Bench-Graph と AutoGL の統合により、GraphNAS や AutoGNN などのNAS手法の直接比較と再現可能な評価が可能となり、GitHub で結果を再現可能にしている。
• AutoGL-light は、カスタムパイプライン開発に適したモジュラーで拡張可能かつ軽量な代替手段を提供し、上級ユーザーの柔軟性を高めている。