[論文レビュー] Graph Structure of Neural Networks

Jiaxuan You, Leskovec, Jure+2 more|arXiv (Cornell University)|Jul 13, 2020

Advanced Graph Neural Networks被引用数 23

ひとこと要約

本論文は、ニューラルネットワークアーキテクチャをグラフ上の動的メッセージパッシングプロセスとして表現する関係性グラフフレームワークを導入し、クラスタリング係数と平均パス長の定義するグラフトポロジーの「スイートスポット」において最適なパフォーマンスが出現することを明らかにした。研究では、最高性能を示すモデルが生物学的ニューラルネットワークと構造的に類似しており、さまざまなタスクやデータセットにおいて、パフォーマンスがこれらのグラフ測定値の滑らかな関数として近似できることを示した。

ABSTRACT

Neural networks are often represented as graphs of connections between neurons. However, despite their wide use, there is currently little understanding of the relationship between the graph structure of the neural network and its predictive performance. Here we systematically investigate how does the graph structure of neural networks affect their predictive performance. To this end, we develop a novel graph-based representation of neural networks called relational graph, where layers of neural network computation correspond to rounds of message exchange along the graph structure. Using this representation we show that: (1) a "sweet spot" of relational graphs leads to neural networks with significantly improved predictive performance; (2) neural network's performance is approximately a smooth function of the clustering coefficient and average path length of its relational graph; (3) our findings are consistent across many different tasks and datasets; (4) the sweet spot can be identified efficiently; (5) top-performing neural networks have graph structure surprisingly similar to those of real biological neural networks. Our work opens new directions for the design of neural architectures and the understanding on neural networks in general.

研究の動機と目的

• ニューラルネットワークアーキテクチャと予測性能の間の体系的関係を理解すること。
• 方向性、非循環性、レイヤー単位の二部グラフ構造に制約を受ける従来の計算グラフ表現の限界を克服すること。
• 単方向データフローを越えた情報交換を捉える一般化可能なグラフ理論的表現を構築すること。
• さまざまなタスクやデータセットにおいて、高性能なニューラルネットワークの構造的特徴を同定すること。
• グラフ測定値を用いて効率的な有望アーキテクチャの同定を可能とし、自動ニューラルアーキテクチャサーチを促進すること。

提案手法

• 各ニューラルネットワークレイヤーを、無向グラフ上のメッセージ交換のラウンドに対応させる関係性グラフ表現を提案。ノードは計算ユニットを、エッジはメッセージ交換を表す。
• 各ラウンドにおける情報の流れとノード間での結合の仕組みをモデル化するためのメッセージ関数と集約関数を定義。
• グラフ測定値（クラスタリング係数と平均パス長）を、関係性グラフ構造の主要記述子として用い、パフォーマンス分析に活用。
• 構造的多様性を維持しつつ、多様なグラフトポロジーを体系的に探索可能な柔軟なグラフ生成器（WS-flex）を設計。
• 複数のデータセットとタスクにおいて、関係性グラフをアーキテクチャの事前知識として用い、トポロジー依存のパフォーマンスを調査。
• 重みに基づく関係性グラフを抽出することで、トレーニング中の構造的進化を逆算的に観察。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークのグラフ構造とその予測性能の間に体系的関係があるか？
• RQ2 異なるタスクやデータセットにおいて、高性能なニューラルネットワークの構造的特徴は何か？
• RQ3 ニューラルネットワークの予測性能は、その関係性グラフのトポロジカル測定値の滑らかな関数として近似可能か？
• RQ4 トレーニング過程で、トレーニング済みニューラルネットワークのグラフ構造は最適トポロジーへ進化するか？
• RQ5 関係性グラフフレームワークは、一般ニューラルアーキテクチャとグラフニューラルネットワーク（GNNs）の理解を統合できるか？

主な発見

• 中程度のクラスタリング係数と短い平均パス長を特徴とする関係性グラフトポロジーの「スイートスポット」が、複数のデータセットとタスクで顕著な予測性能の向上をもたらす。
• ニューラルネットワークのパフォーマンスは、その関係性グラフのクラスタリング係数と平均パス長の滑らかな関数として近似可能であり、グラフ構造からパフォーマンスを予測可能である。
• 最高性能を示すニューラルネットワーク（ResNets や MLPs を含む）は、実際の生物学的ニューラルネットワークで見られる構造と顕著に類似している。
• 関係性グラフ表現により、トレーニング済みの全結合ネットワークがグラフ空間の「スイートスポット」領域へ進化することが明らかになったが、明示的に最適化されたグラフに至る性能ギャップは完全には埋まらない。
• 関係性グラフフレームワークは、GNN と一般ニューラルアーキテクチャの理解を統合する視点を提供し、GNN がメッセージ関数が共有され、グラフが入力依存である特別なケースであることを示した。
• 本研究では、最適グラフトポロジーに基づく構造的事前知識が、ランダム初期化からでも標準的な全結合アーキテクチャを上回ることを示した。