[論文レビュー] Graph Property Prediction on Open Graph Benchmark: A Winning Solution by Graph Neural Architecture Search

Xu Wang, Huan Zhao+2 more|arXiv (Cornell University)|Jul 13, 2022

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本論文は、プーリングアーキテクチャ探索（PAS）とF²GNNを組み合わせたニューラルアーキテクチャ探索（NAS）フレームワークを提案し、グラフ属性予測のための最適なグラフニューラルネットワーク（GNN）アーキテクチャを自動で発見する。学習可能な特徴融合を組み合わせてアグリゲーション関数とGNNトポロジーを同時に探索することで、3つのOGBベンチマークデータセット（ogbg-molhiv、ogbg-molpcba、ogbg-ppa）において最先端の性能を達成し、固定アーキテクチャモデルを上回り、分子および生物学的グラフタスクにわたり優れた一般化性能を示した。

ABSTRACT

Aiming at two molecular graph datasets and one protein association subgraph dataset in OGB graph classification task, we design a graph neural network framework for graph classification task by introducing PAS(Pooling Architecture Search). At the same time, we improve it based on the GNN topology design method F2GNN to further design the feature selection and fusion strategies, so as to further improve the performance of the model in the graph property prediction task while overcoming the over smoothing problem of deep GNN training. Finally, a performance breakthrough is achieved on these three datasets, which is significantly better than other methods with fixed aggregate function. It is proved that the NAS method has high generalization ability for multiple tasks and the advantage of our method in processing graph property prediction tasks.

研究の動機と目的

• 多様なグラフタイプにわたるグラフ属性予測のための最適なGNNアーキテクチャを設計する課題に対処すること。
• 学習可能な特徴融合を用いた適応的アーキテクチャ探索により、深層GNNにおける過剰平滑化問題を克服すること。
• 外部データセットに依存せずに、OGBのグラフレベル分類ベンチマークでの性能を向上させること。
• ニューラルアーキテクチャ探索（NAS）の多様なグラフ学習タスクへの一般化能力を示すこと。

提案手法

• プーリング操作とアグリゲーション関数のための微分可能探索フレームワークを、プーリングアーキテクチャ探索（PAS）によって導入する。
• PASをF²GNNで拡張し、微分可能な操作を通じて最適なGNN接続パターンを学習するトポロジー探索手法を実装する。
• ノード表現の識別性を深層GNNで保持するために、学習可能な特徴選択および統合メカニズムを適用する。
• 表現力の向上を図るため、複数のGAT変種およびリサンプルに類似した接続パターンを含む探索空間を設計する。
• 2段階の探索を採用：まず各層ごとにアグリゲーション関数を最適化し、次にF²GNNを用いて深層モデルのトポロジーを探索する。
• 微分可能アーキテクチャ探索を活用し、メッセージパッシング関数とグラフトポロジーを同時に最適化することで、より良いインダクティブバイアスを実現する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルアーキテクチャ探索（NAS）は、多様なグラフタイプにわたるグラフ属性予測タスクで、固定GNNアーキテクチャを上回ることができるか？
• RQ2 PASとF²GNNの組み合わせは、深層GNNにおける過剰平滑化問題を効果的に緩和できるか？
• RQ3 本手法は、タスク固有のアーキテクチャチューニングなしに、分子および生物学的グラフデータセットに一般化可能か？
• RQ4 学習可能な特徴統合と適応的トポロジー設計は、OGBのような大規模グラフベンチマークでの性能向上に寄与するか？
• RQ5 外部データが使用されない状況下で、アーキテクチャ探索がモデル性能に与える影響は何か？

主な発見

• 本手法は、ogbg-molhivで1位を達成し、テストAUC-ROCが0.8420 ± 0.0015を記録し、GraphormerやCINを上回った。
• ogbg-molpcbaでは、テストAPが0.3147 ± 0.0015に達し、PAS（0.3012）および他のSOTAモデルを顕著に上回った。
• ogbg-ppaでは、テスト精度が82.01%に達し、ExpC*（81.40%）およびPAS（78.28%）を大きく上回った。
• F²GNNをPASに統合することで、3つのすべてのデータセットで性能が向上し、深層GNNにおけるトポロジー探索の価値を裏付けた。
• 外部データセットを一切使用せずSOTA結果を達成したため、本手法の有効性と現実世界のグラフ学習における一般化能力が証明された。
• アブレーションスタディの結果、PASとF²GNNの両方が、タスク全体にわたり独立してかつ相乗的に性能向上に寄与していることが確認された。