[論文レビュー] Maximum Entropy Weighted Independent Set Pooling for Graph Neural Networks

Amirhossein Nouranizadeh, Mohammadjavad Matinkia+2 more|ArXiv.org|Jul 3, 2021

Advanced Graph Neural Networks被引用数 15

ひとこと要約

本稿では、シャノン容量とInfomax原理を用いて、グラフプーリングを最大エントロピー加重独立集合（MEWIS）の探索問題として定式化することにより、情報伝送を最大化する新しいグラフニューラルネットワークプーリング層であるMEWISPoolを提案する。構造に適応する微分可能アプローチにより、固定されたプール比を必要とせず、グラフ分類および最大独立集合ベンチマークタスクで最先端の性能を達成する。

ABSTRACT

In this paper, we propose a novel pooling layer for graph neural networks based on maximizing the mutual information between the pooled graph and the input graph. Since the maximum mutual information is difficult to compute, we employ the Shannon capacity of a graph as an inductive bias to our pooling method. More precisely, we show that the input graph to the pooling layer can be viewed as a representation of a noisy communication channel. For such a channel, sending the symbols belonging to an independent set of the graph yields a reliable and error-free transmission of information. We show that reaching the maximum mutual information is equivalent to finding a maximum weight independent set of the graph where the weights convey entropy contents. Through this communication theoretic standpoint, we provide a distinct perspective for posing the problem of graph pooling as maximizing the information transmission rate across a noisy communication channel, implemented by a graph neural network. We evaluate our method, referred to as Maximum Entropy Weighted Independent Set Pooling (MEWISPool), on graph classification tasks and the combinatorial optimization problem of the maximum independent set. Empirical results demonstrate that our method achieves the state-of-the-art and competitive results on graph classification tasks and the maximum independent set problem in several benchmark datasets.

研究の動機と目的

• 階層的かつ情報豊富な表現を保持する構造に適応するプーリング機構の開発。
• プーリングにおける不規則なグラフ構造の課題に取り組み、効果的なグローバル特徴の集約を阻害する要因を解消すること。
• 通信理論の概念を用いて、入力グラフとプールドグラフ間の相互情報量を最大化する形でグラフプーリングを定式化すること。
• 事前に定義されたプール比を必要とせず、微分可能でエンドツーエンドで学習可能なプーリング層の提供。

提案手法

• 入力グラフをノイズのある通信チャネルを表す「誤りの可能性のあるグラフ（confusability graph）」としてモデル化し、ノードをシンボル、エッジを誤りの可能性を示す。
• グラフのシャノン容量をインダクティブバイアスとして活用し、最大相互情報量を、エントロピーに基づくノード重みを用いた最大重み独立集合（MWIS）の探索に等価化する。
• ノード重みは、特徴差のL2ノルムを用いた局所的信号変動から導出され、エントロピー含量を符号化する。
• ニューラル推定器が各ノードの独立集合への含める確率を微分可能に割り当て、バックプロパゲーションを可能にする。
• 条件付き期待値に基づくデランダマイゼーションアルゴリズムを適用し、学習済み分布から部分的に最適だが決定論的な解を抽出する。
• エンドツーエンドで学習可能であり、事前に定義されたプール比を必要とせず、グラフ構造に適応する。

実験結果

リサーチクエスチョン

• RQ1 グラフプーリングを情報理論および通信チャネルの観点から再解釈することで、表現学習の向上が図れるか？
• RQ2 入力グラフとプールドグラフ間の最大相互情報量を、微分可能かつスケーラブルな方法で近似できるか？
• RQ3 エントロピーに基づく重みを用いた最大重み独立集合問題が、最適な情報保持プーリングの有効な代理問題として機能できるか？
• RQ4 本手法は、グラフ分類および組合せ最適化タスクにおいて、従来のプーリング手法と比較して性能および適応性において優れているか？
• RQ5 本手法は、実世界のグラフデータセットにおいて、計算複雑性およびスケーラビリティに優れているか？

主な発見

• MEWISPoolは、Cora、Citeseer、PubMedのグラフ分類ベンチマークで最先端の性能を達成し、GCN-GTSやS2V-DQNを上回った。
• 最大独立集合問題において、Coraでは1433（GCN-GTSは1451）、Citeseerでは1852（GCN-GTSは1867）、PubMedでは15,862（GCN-GTSは15,912）の解を得ており、競争力のある性能を示した。
• スパースグラフにおいて計算複雑度が約O(|V|³)であり、1つのGCN層と同等であった。
• モデルは適応的であり、事前に定義されたプール比を必要とせず、構造的および情報理論的基準に基づくノードの動的選択が可能である。
• Coraデータセットの学習曲線から、訓練損失と学習済みMISサイズが安定して収束しており、効果的な最適化が図られていることが示された。
• エントロピーに基づく重みとデランダマイゼーションの組み合わせにより、決定論的で高品質な解が得られるとともに、エンドツーエンド学習のための微分可能性を維持した。