[論文レビュー] Search to aggregate neighborhood for graph neural network

Huan Zhao, Quanming Yao+1 more|arXiv (Cornell University)|Apr 14, 2021

Advanced Graph Neural Networks参考文献 52被引用数 26

ひとこと要約

SANEは、微分可能なニューラルアーキテクチャ探索を用いてデータ特異的なGNNアーキテクチャを自動設計し、複数のデータセットにおいてベースラインよりも効果的で効率的なモデルを生み出す。

ABSTRACT

Recent years have witnessed the popularity and success of graph neural networks (GNN) in various scenarios. To obtain data-specific GNN architectures, researchers turn to neural architecture search (NAS), which has made impressive success in discovering effective architectures in convolutional neural networks. However, it is non-trivial to apply NAS approaches to GNN due to challenges in search space design and the expensive searching cost of existing NAS methods. In this work, to obtain the data-specific GNN architectures and address the computational challenges facing by NAS approaches, we propose a framework, which tries to Search to Aggregate NEighborhood (SANE), to automatically design data-specific GNN architectures. By designing a novel and expressive search space, we propose a differentiable search algorithm, which is more efficient than previous reinforcement learning based methods. Experimental results on four tasks and seven real-world datasets demonstrate the superiority of SANE compared to existing GNN models and NAS approaches in terms of effectiveness and efficiency. (Code is available at: https://github.com/AutoML-4Paradigm/SANE).

研究の動機と目的

• データセットやタスクの異質性によりデータ特異的なGNNアーキテクチャの必要性を動機づける。
• ノードアグリゲータとレイヤーアグリゲータ、スキップ接続に焦点を当てたGNNの新しい表現力ある探索空間を提案する。
• 提案空間を効率的に探索する微分可能なワンショットNAS手法を開発する。
• 複数の実世界データセットを対象に、伝導的(transductive)、帰納的(inductive)、データベース(DB)タスク全般でSANEを実証的に検証する。

提案手法

• 多くのGNNアーキテクチャを模倣できる、ノードアグリゲータ、レイヤーアグリゲータ、スキップ接続を含む表現力のある探索空間を定義する。
• 事前定義された集合から混合操作を各エッジに持つスーパーネット（DAG）を構築する。候補操作のソフトマックスで離散選択を緩和する。
• 検証損失で最適化されるアーキテクチャパラメータαと、トレーニング損失で最適化されるネットワーク重みwの双階層最適化を定式化する。
• 1-shotの微分可能NASを適用して、勾配ベースの更新でαを更新し、標準のトレーニングで重みを更新し、離散アーキテクチャを抽出する。
• 複数の探索実行からトップ1のアーキテクチャを保持し、最終評価のためにハイパーパラメータを調整して再訓練する。）

実験結果

リサーチクエスチョン

• RQ1 微分可能なNASフレームワークは、手動設計モデルおよびRLベースのNAS手法を上回るデータ特異的なGNNアーキテクチャを発見できるだろうか？
• RQ2 ノードアグリゲータとレイヤーアグリゲータ、そしてスキップ接続を含むコンパクトで表現力のある探索空間は、多様なGNNを模倣するのに十分か？
• RQ3 実世界のデータセット上で実用的なGNNアーキテクチャ探索に対して、ワンショット微分可能NASは十分な効率を持つか？
• RQ4 発見されたアーキテクチャは、伝導的、帰納的、およびデータベースタスクの各でどのように性能を発揮するか？
• RQ5 探索されたアーキテクチャが、タスクとデータセット特有の設計選択についてどのような特徴を示すか？

主な発見

• SANEは、複数のデータセットにおいて伝導的および帰納的タスクの両方で、人間設計のGNNとNASのベースラインを一貫して上回る。
• 提案された表現力のある探索空間は、SANEに広範なアーキテクチャを模倣させ、データ特異的な構成を発見させる。
• 微分可能なワンショットNASアプローチは、RLベースのNAS手法より探索効率を大幅に向上させる。
• SANEによって発見されたアーキテクチャはデータ依存的であり、しばしばスキップ接続と注意機構ベースのアグリゲータを活用して高い性能を達成する。
• SANEは探索時間の substantial な効率化を達成し、さまざまなタスクで最先端の結果を提供する。）