[論文レビュー] Rethinking Graph Neural Network Search from Message-passing.

Shaofei Cai, Liang Li+5 more|arXiv (Cornell University)|Mar 26, 2021

Advanced Graph Neural Networks被引用数 6

ひとこと要約

本稿では、適切なメッセージパッシングの深さとメカニズムを自動で発見できる、Graph Neural Architecture Search (GNAS) を提案する。特徴フィルタリングとネイバー集約という細分化された原子的操作を備えたツリー型計算パラダイムを導入することで、3つのベンチマークタスクにおける5つのスケーラブルなグラフデータセットにおいて、最先端の手動設計および探索ベースのGNNを上回る性能を発揮する。

ABSTRACT

Graph neural networks (GNNs) emerged recently as a standard toolkit for learning from data on graphs. Current GNN designing works depend on immense human expertise to explore different message-passing mechanisms, and require manual enumeration to determine the proper message-passing depth. Inspired by the strong searching capability of neural architecture search (NAS) in CNN, this paper proposes Graph Neural Architecture Search (GNAS) with novel-designed search space. The GNAS can automatically learn better architecture with the optimal depth of message passing on the graph. Specifically, we design Graph Neural Architecture Paradigm (GAP) with tree-topology computation procedure and two types of fine-grained atomic operations (feature filtering and neighbor aggregation) from message-passing mechanism to construct powerful graph network search space. Feature filtering performs adaptive feature selection, and neighbor aggregation captures structural information and calculates neighbors' statistics. Experiments show that our GNAS can search for better GNNs with multiple message-passing mechanisms and optimal message-passing depth. The searched network achieves remarkable improvement over state-of-the-art manual designed and search-based GNNs on five large-scale datasets at three classical graph tasks. Codes can be found at this https URL

研究の動機と目的

• 手動によるGNN設計の限界に対処する。これは、熟練した専門知識と膨大なハイパーパrameterチューニングに大きく依存する。
• GNNにおけるメッセージパッシングの深さの手動での列挙を不要にする。
• 優れた性能を発揮するGNNアーキテクチャの自動発見を可能にする探索空間を構築する。
• 自動アーキテクチャサーチを通じて、標準的な設計を上回るメッセージパッシングメカニズムの有効性を検証する。
• 提案された探索フレームワークを用いて、大規模なグラフ学習タスクで最先端の性能を達成する。

提案手法

• 系統的なアーキテクチャサーチを可能にするツリー型計算構造を備えたグラフニューラルアーキテクチャパラダイム（GAP）を提案する。
• 特徴フィルタリング（適応的特徴選択のため）とネイバー集約（構造的情報を捉えるため）の2種類の細分化された原子的操作を導入する。
• メッセージパッシングメカニズムに基づいた探索空間を設計し、多様なアーキテクチャ構成の探索を可能にする。
• ニューラルアーキテクチャサーチ（NAS）を用いて、最適なメッセージパッシング操作の深さと組み合わせを自動で同定する。
• 効率的なアーキテクチャサーチプロセスを最適化するため、微分可能探索戦略を採用する。
• 複数のメッセージパッシングメカニズムと動的深さ選択をサポートする探索空間を活用する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルアーキテクチャサーチは、最適なメッセージパッシングメカニズムの自動設計に効果的に適応可能か？
• RQ2 異なるグラフ学習タスクにおけるメッセージパッシングの最適な深さは何か？ そして、それが自動で同定可能か？
• RQ3 細分化された原子的操作（特徴フィルタリングとネイバー集約）は、より強力なGNNアーキテクチャの構築にどのように寄与するか？
• RQ4 提案された探索空間は、既存の手動設計および探索ベースのGNNを上回る性能を発揮するか？
• RQ5 GAPにおけるツリー型計算構造は、標準的な探索空間と比較して、より効果的かつ効率的なアーキテクチャサーチを可能にするか？

主な発見

• 探索されたGNNアーキテクチャは、3つの古典的なグラフ学習タスクにおける5つのスケーラブルなグラフデータセットで最先端の性能を達成した。
• GNASは最適なメッセージパッシング深さのアーキテクチャを発見し、手動によるハイパーパrameterチューニングの必要性を排除した。
• 探索空間における特徴フィルタリングとネイバー集約の組み合わせにより、標準的なGNNと比較して顕著な性能向上が達成された。
• 評価されたすべてのベンチマークで、手動設計および既存の探索ベースのGNNを上回る性能を発揮した。
• 探索プロセスは効率的かつ効果的であり、提案された探索空間のスケーラビリティとロバスト性を示した。