[論文レビュー] Improving Subgraph Recognition with Variational Graph Information Bottleneck

Junchi Yu, Jie Cao+1 more|arXiv (Cornell University)|Dec 18, 2021

Advanced Graph Neural Networks被引用数 5

ひとこと要約

本稿では、グラフ摂動と部分グラフ選択に問題を再定式化することにより、学習安定性と性能を向上させる、新しい部分グラフ認識フレームワークである変分グラフ情報ボトルネック（VGIB）を提案する。学習可能で入力に依存するノイズを注入し、変分上界を用いることで、効率的で安定した最適化が可能となり、従来手法よりも情報量が多く圧縮された部分グラフを発見する。このアプローチにより、グラフ分類、GNNの解釈可能性、解釈タスクにおいて優れた結果を達成する。

ABSTRACT

Subgraph recognition aims at discovering a compressed substructure of a graph that is most informative to the graph property. It can be formulated by optimizing Graph Information Bottleneck (GIB) with a mutual information estimator. However, GIB suffers from training instability and degenerated results due to its intrinsic optimization process. To tackle these issues, we reformulate the subgraph recognition problem into two steps: graph perturbation and subgraph selection, leading to a novel Variational Graph Information Bottleneck (VGIB) framework. VGIB first employs the noise injection to modulate the information flow from the input graph to the perturbed graph. Then, the perturbed graph is encouraged to be informative to the graph property. VGIB further obtains the desired subgraph by filtering out the noise in the perturbed graph. With the customized noise prior for each input, the VGIB objective is endowed with a tractable variational upper bound, leading to a superior empirical performance as well as theoretical properties. Extensive experiments on graph interpretation, explainability of Graph Neural Networks, and graph classification show that VGIB finds better subgraphs than existing methods. Code is avaliable at https://github.com/Samyu0304/VGIB

研究の動機と目的

• 信頼性の低い相互情報量推定による、部分グラフ認識におけるグラフ情報ボトルネック（GIB）の学習不安定性と性能の低さを解消する。
• GIBの最適化プロセスに起因する、相互情報量推定の不正確さと収束問題を克服する。
• ラベル関連の情報を保持するが、圧縮された情報量の多い部分グラフを特定する、より安定的で効率的なフレームワークを開発する。
• 生化学やソーシャルネットワーク解析などの実世界の応用分野における部分グラフ認識の実用的導入を可能にする。
• より優れた部分グラフ説明を通じて、グラフニューラルネットワークの予測の忠実性と解釈可能性を向上させる。

提案手法

• 部分グラフ認識を2段階に再定式化する：ノイズ注入によるグラフ摂動と、注入されたノイズを削除することで部分グラフを選択する。
• 各入力グラフに対してカスタマイズされたガウス分布を用いて、学習可能で入力に依存するノイズ事前分布を導入し、微分可能最適化を可能にする。
• ノイズ注入の離散的アクション空間を扱うために、Gumbel-Softmax再パラメータ化を採用し、勾配ベースの最適化を実現する。
• 相互情報量目的関数に対する取り扱い可能な変分上界を定式化し、計算不能なGIB最適化を安定的で微分可能な代替手法に置き換える。
• 摂動を加えたグラフを中間表現として用い、ノイズによる圧縮（圧縮）と特性予測による情報性（情報性）を両立させ、ノイズ注入が本質的でない部分構造にのみ影響するように誘導する。
• 最終的な部分グラフは、注入されたノイズをフィルタリングすることで抽出し、入力グラフの情報量が多くノイズの少ない部分構造のみを保持する。

実験結果

リサーチクエスチョン

• RQ1 グラフ情報ボトルネック（GIB）目的関数に対する変分近似は、部分グラフ認識における学習安定性と性能を向上させ得るか？
• RQ2 ノイズ注入をどのように微分可能かつ効果的に設計すれば、グラフ内の本質的でない部分構造を特定できるか？
• RQ3 カスタマイズされた入力に依存するノイズ事前分布を用いることで、一様またはランダムなノイズ注入と比較して、より優れた部分グラフ発見が可能になるか？
• RQ4 提案されたVGIBフレームワークは、グラフニューラルネットワークの説明の忠実性をどの程度向上させるか？
• RQ5 発見された部分グラフは、下流のグラフ分類モデルの性能を向上させるか？

主な発見

• VGIBはGIBと比較して著しく高速かつ安定した学習を達成し、10回未満の学習ステップで収束が確認された。
• MUTAG、PROTEINS、DD、IMDB-BINARY、REDDIT-BINARY、COLLABのグラフ分類ベンチマークにおいて、VGIBは情報量が多く圧縮された部分グラフを発見することで、ベースラインGNN性能を向上させた。
• GNNの解釈可能性タスクにおいて、複数のスパarsityレベルでFidelity+スコア（最大0.82）が最高で、Fidelity−スコア（最小0.18）が最低となり、モデル予測への忠実性が優れていることが示された。
• グラフ解釈と解釈可能性の両タスクにおいて、すべての評価データセットで従来手法を上回る部分グラフ発見性能を達成した。
• ベースラインGIBに基づくアプローチと比較して、最適化時間を10倍以上短縮し、実用的導入を可能にした。
• アブレーションスタディにより、入力に依存するノイズ事前分布とGumbel-Softmax再パラメータ化の両方が最適性能を達成するために不可欠であることが確認された。