[論文レビュー] Rethinking Graph Neural Architecture Search from Message-passing

Shaofei Cai, Liang Li+5 more|arXiv (Cornell University)|Mar 26, 2021

Advanced Graph Neural Networks参考文献 40被引用数 7

ひとこと要約

本稿では、メッセージパッシング機構から再考されたGNNアーキテクチャ探索の観点から、Graph Neural Architecture Search (GNAS) を提案する。GNASは、細分化された原子的演算（特徴フィルタリングと近隣集約）を用いたツリー構造の計算パラダイムを設計し、最適なメッセージパッシング深さを持つGNNアーキテクチャを自動で発見する。実験の結果、ノード分類、リンク予測、グラフ回帰の3つのタスクにおいて、5つの大規模データセットで最先端の手動設計および探索ベースのGNNを上回り、より低い深さと計算コストで優れた精度を達成した。

ABSTRACT

Graph neural networks (GNNs) emerged recently as a standard toolkit for learning from data on graphs. Current GNN designing works depend on immense human expertise to explore different message-passing mechanisms, and require manual enumeration to determine the proper message-passing depth. Inspired by the strong searching capability of neural architecture search (NAS) in CNN, this paper proposes Graph Neural Architecture Search (GNAS) with novel-designed search space. The GNAS can automatically learn better architecture with the optimal depth of message passing on the graph. Specifically, we design Graph Neural Architecture Paradigm (GAP) with tree-topology computation procedure and two types of fine-grained atomic operations (feature filtering and neighbor aggregation) from message-passing mechanism to construct powerful graph network search space. Feature filtering performs adaptive feature selection, and neighbor aggregation captures structural information and calculates neighbors' statistics. Experiments show that our GNAS can search for better GNNs with multiple message-passing mechanisms and optimal message-passing depth. The searched network achieves remarkable improvement over state-of-the-art manual designed and search-based GNNs on five large-scale datasets at three classical graph tasks. Codes can be found at https://github.com/phython96/GNAS-MP.

研究の動機と目的

• メッセージパッシング機構と深さの選択に人的専門知識を要する手動GNN設計の限界を解消すること。
• GNNにおける手動による深さの全探索が高コストであるのを克服し、ネットワークが深くなりすぎると性能が低下する問題を解消すること。
• 事前に存在するGNNに限定されない探索空間を構築し、根本的なメッセージパッシング機構から導出することで、より高い表現力と性能を実現すること。
• 微分可能で勾配ベースの探索戦略により、最適なメッセージパッシング深さを自動で発見できること。

提案手法

• 2種類の細分化された原子的演算（特徴フィルタリングと近隣集約）を備えたツリー構造の計算手順に基づく、Graph Neural Architecture Paradigm (GAP) を提案する。
• ゲーティング機構を用いて特徴フィルタリングを設計し、適応的特徴選択を実現することで表現学習を向上させる。
• 和、平均、最大の演算を用いて近隣集約を導入し、構造的情報をおよび近隣の統計的情報を捉える。
• 3段階の探索空間を構築し、原子的演算の柔軟な組み合わせにより多様なGNNアーキテクチャを形成可能にする。
• 効率的なアーキテクチャパラメータ最適化を可能にする勾配ベースの探索戦略を採用し、エンドツーエンド微分可能なアーキテクチャ探索を実現する。
• アーキテクチャ探索空間の微分可能リラクゼーションを用い、勾配伝搬を可能にするとともに、アーキテクチャとモデル重みの共同最適化を実現する。

実験結果

リサーチクエスチョン

• RQ1 事前に学習済みGNNを演算として再利用する既存のNAS手法とは異なり、メッセージパッシング機構から直接導出された探索空間が、性能で上回ることができるか？
• RQ2 提案されたGNASフレームワークは、手動による深さの全探索に依存せず、最適なメッセージパッシング深さを自動で発見できるか？
• RQ3 多様なグラフ学習タスクにおいて、GNASの性能は最先端の手動設計および探索ベースのGNNと比較してどうなるか？
• RQ4 GNASが選択する好ましいアーキテクチャ的要素（例：集約タイプ、フィルタータイプ）は何か、またそれらはデータセットごとにどのように変化するか？
• RQ5 GNASは、従来の手法と比較して、より少ないパラメータ数と短い学習時間で、より優れた性能を達成できるか？

主な発見

• GNASは、ノード分類、リンク予測、グラフ特性回帰の3つの古典的グラフタスクにおいて、5つの大規模データセットで最先端の性能を達成した。
• グラフ回帰のZINCデータセットでは、12層のGNASがMAE 0.242を達成し、16層のGatedGCN（MAE 0.340）でさえも上回り、120時間の探索時間を要するGraphNASをも凌駆した。
• ZINCでGNASが発見した最適なメッセージパッシング深さは12～14層の間であり、この範囲で性能がピークに達することが実証的に示された。
• GNASは一貫して和・平均集約よりもmax集約を好む傾向を示しており、これは代表的なノード特徴を捉えることの重要性を示唆している。
• 探索プロセスは効率的で、ZINCではわずか1.75時間でアーキテクチャ探索を完了させ、GraphNASの120時間と比べてはるかに高速でありながら、より優れた性能を達成した。
• CIFAR10ではMNISTよりも密度の高いフィルタが頻繁に選択されたが、これは前者のデータセットにおけるノード特徴の複雑さがより高いことを反映している。