[論文レビュー] NAS-Bench-Graph: Benchmarking Graph Neural Architecture Search

Yijian Qin, Ziwei Zhang+3 more|arXiv (Cornell University)|Jun 18, 2022

Advanced Graph Neural Networks被引用数 12

ひとこと要約

この論文は、グラフニューラルネットワークのアーキテクチャ探索（GraphNAS）のための最初のベンチマークであるNAS-Bench-Graphを紹介する。これにより、統一的で再現可能かつ効率的な評価が可能になる。9つのデータセットを対象に、26,206個のユニークなGNNアーキテクチャを事前学習および評価し、再訓練を伴わずにテーブルによる性能照会が可能となる。これにより計算コストが削減され、異なる手法間の公平な比較が保証される。

ABSTRACT

Graph neural architecture search (GraphNAS) has recently aroused considerable attention in both academia and industry. However, two key challenges seriously hinder the further research of GraphNAS. First, since there is no consensus for the experimental setting, the empirical results in different research papers are often not comparable and even not reproducible, leading to unfair comparisons. Secondly, GraphNAS often needs extensive computations, which makes it highly inefficient and inaccessible to researchers without access to large-scale computation. To solve these challenges, we propose NAS-Bench-Graph, a tailored benchmark that supports unified, reproducible, and efficient evaluations for GraphNAS. Specifically, we construct a unified, expressive yet compact search space, covering 26,206 unique graph neural network (GNN) architectures and propose a principled evaluation protocol. To avoid unnecessary repetitive training, we have trained and evaluated all of these architectures on nine representative graph datasets, recording detailed metrics including train, validation, and test performance in each epoch, the latency, the number of parameters, etc. Based on our proposed benchmark, the performance of GNN architectures can be directly obtained by a look-up table without any further computation, which enables fair, fully reproducible, and efficient comparisons. To demonstrate its usage, we make in-depth analyses of our proposed NAS-Bench-Graph, revealing several interesting findings for GraphNAS. We also showcase how the benchmark can be easily compatible with GraphNAS open libraries such as AutoGL and NNI. To the best of our knowledge, our work is the first benchmark for graph neural architecture search.

研究の動機と目的

• GraphNAS研究における標準化された実験設定の欠如が、研究間の公平で再現可能な比較を妨げているという問題に対処すること。
• GraphNASにおける高い計算コストが、大規模な計算リソースを持たない研究者にとってのアクセスを制限しているという問題を克服すること。
• 多様で代表的なモデルをカバーする、統一的で表現力があり、コンactなGNNアーキテクチャ探索空間を構築すること。
• すべてのアーキテクチャに対して、精度、遅延、パラメータ数といった詳細なメトリクスを事前に評価したベンチマークを提供し、再訓練なしに即座に性能を照会可能とすること。
• AutoGL や NNI といった既存の GraphNAS ライブラリとの互換性を示し、多様な探索戦略への統合を可能とすること。

提案手法

• 7つのGNN演算を体系的に組み合わせる、制約付きの有向非巡回グラフ（DAG）に基づくマクロ探索空間を設計し、26,206個のユニークなGNNアーキテクチャを生成する。
• 9つの代表的なグラフデータセットにわたる、標準化されたデータ分割、ハイパーパramータ設定、およびトレーニング手順を含む、原則的な評価プロトコルを定義する。
• 9つのデータセットの各々に対して、すべての26,206個のアーキテクチャをトレーニングおよび評価し、エポック単位のメトリクス（トレーニング/検証/テスト精度、遅延、モデルサイズ）をログ記録する。
• すべてのパフォーマンスメトリクスを格納するルックアップテーブルを構築し、再トレーニングなしにアーキテクチャのパフォーマンスを即座にアクセス可能とする。
• 統計的分析（例：分散分析からのエータ二乗）を用いて、特に深層層と浅層層の違いが最終的なモデルパフォーマンスに与える影響を評価する。
• AutoGL および NNI に NAS-Bench-Graph を統合し、ランダムサーチ、遺伝的アルゴリズム、強化学習を含む多様な探索アルゴリズムとの互換性と実用性を検証する。

実験結果

リサーチクエスチョン

• RQ1 GNNアーキテクチャのパフォーマンス分布は、異なるデータセット間でどのように変化するか。また、優れた性能を示すモデルの頻度はどの程度か。
• RQ2 深層層におけるアーキテクチャ選択が、浅層層と比較して最終的なモデルパフォーマンスにどの程度影響を及えるか。
• RQ3 最良のパフォーマンスを示すアーキテクチャは、異なるグラフデータセット間でどれほど転送可能か。また、データセット間の相関関係はどの程度か。
• RQ4 このベンチマークは、ランダムサーチ、強化学習、遺伝的アルゴリズムを含む多様なGraphNAS手法間での効率的で公平な比較を可能にするか。
• RQ5 アーキテクチャ-パフォーマンスのランドスケープはどの程度滑らかか。これは、変異ベースの探索戦略の使用を支持するか。

主な発見

• 優れたパフォーマンスを示すGNNアーキテクチャはまれであり、高い性能を示すモデルは多様な遅延プロファイルを示しており、精度と効率のトレードオフが顕著である。
• アーキテクチャのパフォーマンスは、深層層の選択によって浅層層の選択よりも顕著に影響を受けることが、逆順グループ化における高いエータ二乗値から明らかになった。
• アーキテクチャパフォーマンスのデータセット間相関は弱く、あるデータセットで最良のモデルを別のデータセットに転送しても最適な結果が得られるとは限らない。
• アーキテクチャ空間は、変異ベースの探索戦略をサポートする十分な滑らかさを示しており、GraphNASにおける遺伝的アルゴリズムの使用を裏付ける。
• いくつかのデータセットにおいて、ランダムサーチがより複雑な手法を上回る性能を示しており、現在の探索戦略がパフォーマンスランドスケープを十分に活用できていない可能性を示唆している。
• 評価されたすべてのNAS手法（ランダムサーチ、EA、RL）が、上位5%のアーキテクチャの性能を上回っており、ベンチマークがパフォーマンスパターンの学習を効果的に行うことを可能にしている。