[論文レビュー] Recognizing Predictive Substructures with Subgraph Information Bottleneck

Junchi Yu, Tingyang Xu+4 more|arXiv (Cornell University)|Mar 20, 2021

Advanced Graph Neural Networks参考文献 50被引用数 7

ひとこと要約

本稿では、部分グラフレベルのアノテーションを必要とせずに、グラフ構造データ内の予測可能で圧縮された部分グラフを同定するための新規な部分グラフ情報ボトルネック（SIB）フレームワークを提案する。二段階最適化、相互情報量推定、連結性正則化を伴う連続的リラクゼーションを組み合わせることで、弱教師付きの部分グラフ発見を可能にし、分子データおよび3次元ポイントクラウドデータにおいて、グラフ分類、解釈可能性、ノイズ除去の面で性能向上を達成する。

ABSTRACT

The emergence of Graph Convolutional Network (GCN) has greatly boosted the progress of graph learning. However, two disturbing factors, noise and redundancy in graph data, and lack of interpretation for prediction results, impede further development of GCN. One solution is to recognize a predictive yet compressed subgraph to get rid of the noise and redundancy and obtain the interpretable part of the graph. This setting of subgraph is similar to the information bottleneck (IB) principle, which is less studied on graph-structured data and GCN. Inspired by the IB principle, we propose a novel subgraph information bottleneck (SIB) framework to recognize such subgraphs, named IB-subgraph. However, the intractability of mutual information and the discrete nature of graph data makes the objective of SIB notoriously hard to optimize. To this end, we introduce a bilevel optimization scheme coupled with a mutual information estimator for irregular graphs. Moreover, we propose a continuous relaxation for subgraph selection with a connectivity loss for stabilization. We further theoretically prove the error bound of our estimation scheme for mutual information and the noise-invariant nature of IB-subgraph. Extensive experiments on graph learning and large-scale point cloud tasks demonstrate the superior property of IB-subgraph.

研究の動機と目的

• GCNの性能と解釈可能性を妨げるグラフデータのノイズと冗長性の課題に対処すること。
• グラフレベルの予測に必要な構造的情報を保持しつつ、予測可能で圧縮された部分グラフを発見すること。
• 明示的な部分グラフアノテーションを必要とせずに、弱教師付きで部分グラフ認識を可能にすること。
• 離散的な部分グラフ選択を伴う不規則なグラフデータに対して、微分可能で安定した最適化手法を開発すること。
• グラフ分類、ドラッグ発見、3次元オブジェクト解析に適用可能な解釈可能でノイズに頑健な部分構造発見手法を提供すること。

提案手法

• 情報ボトルネック原理にインspiredされた部分グラフ情報ボトルネック（SIB）フレームワークを提案し、部分グラフレベルの圧縮を目的としつつ予測力を維持することを目的とする。
• 部分グラフ選択とモデルパラメータを同時に最適化する二段階最適化スキームを採用し、エンド・ツー・エンドの学習を可能にする。
• 不規則なグラフに特化した相互情報量推定器を導入し、情報ボトルネック目的関数を近似する。
• 離散的な部分グラフ選択プロセスを連続的リラクゼーションにより処理し、勾配ベース最適化を可能にする。
• 訓練の安定化とコンactな連結部分グラフの促進を目的に、連結性損失を適用する。
• 相互情報量推定器の誤差バウンドとIB部分グラフのノイズ不変性を理論的に証明し、その頑健性を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 部分グラフアノテーションがなくても、グラフレベル分類に有用でコンパクトかつ情報量の多い部分グラフを発見できるか？
• RQ2 相互情報量が計算不能で選択が離散的である不規則なグラフにおいて、どのように部分グラフ選択目的関数を最適化できるか？
• RQ3 提案されたSIBフレームワークは、グラフ学習タスクにおけるモデルの解釈可能性と頑健性をどの程度向上させるか？
• RQ4 異なるランダム初期化およびデータセットにおいて、部分グラフ選択はどの程度安定しているか？
• RQ5 SIBフレームワークは、多様なグラフ学習および3次元構造抽出タスクに一般化可能か？

主な発見

• SIBフレームワークは、QED、DRD2、HLM-CLint、MLM-CLintを含む複数のベンチマークで、グラフ分類において最先端のパフォーマンスを達成した。
• QEDデータセットでは、SIBが平均49.6%（±15.0%）の部分グラフサイズを選択し、5回の異なるランダム実行においても高い予測精度と頑健性を維持した。全ノードのIoUスコアは0.848（±0.163）、最大連結成分のIoUスコアは0.779（±0.330）であった。
• DRD2データセットでは、94.8%（±5.3%）のサイズを持つ非常に関連性の高い部分グラフを同定した。これは、タスクが分子全体の構造に強く依存していることを反映している。
• 連結性損失により訓練が安定化し、コンパクトで連結した部分グラフが得られた。ハイパーパrameter α（1, 3, 5, 10）の変更に対しても感度が非常に低かった。
• 特に小さな機能的モチーフを必要とするタスクにおいて、SIBはアテンションベースのベースライン（GCN+Att05、GCN+Att07）を上回り、部分グラフサイズの適応性と予測性能の両面で優れた性能を示した。
• 理論的分析により、相互情報量推定器の誤差バウンドが確認され、IB部分グラフのノイズ不変性が確立された。これにより、その頑健性が裏付けられた。