[論文レビュー] Graph Information Bottleneck

Tailin Wu, Hongyu Ren+2 more|arXiv (Cornell University)|Oct 24, 2020

Advanced Graph Neural Networks参考文献 52被引用数 96

ひとこと要約

Graph Information Bottleneck (GIB) は、グラフ表現学習のための情報理論的原理を提示し、グラフ構造とノード特徴の両方を圧縮しつつ予測情報を最大化します。これにより、敵対的攻撃に対して頑健な GNN を生み出す、二つの具体化：GIB-Cat および GIB-Bern。

ABSTRACT

Representation learning of graph-structured data is challenging because both graph structure and node features carry important information. Graph Neural Networks (GNNs) provide an expressive way to fuse information from network structure and node features. However, GNNs are prone to adversarial attacks. Here we introduce Graph Information Bottleneck (GIB), an information-theoretic principle that optimally balances expressiveness and robustness of the learned representation of graph-structured data. Inheriting from the general Information Bottleneck (IB), GIB aims to learn the minimal sufficient representation for a given task by maximizing the mutual information between the representation and the target, and simultaneously constraining the mutual information between the representation and the input data. Different from the general IB, GIB regularizes the structural as well as the feature information. We design two sampling algorithms for structural regularization and instantiate the GIB principle with two new models: GIB-Cat and GIB-Bern, and demonstrate the benefits by evaluating the resilience to adversarial attacks. We show that our proposed models are more robust than state-of-the-art graph defense models. GIB-based models empirically achieve up to 31% improvement with adversarial perturbation of the graph structure as well as node features.

研究の動機と目的

• 表現力と頑健性のバランスを取りつつ、グラフにおける頑健な表現学習を動機づける。
• 情報ボトルネックをグラフ構造データに拡張し、構造情報と特徴情報の両方を正則化する。
• GIB原理の下で、実用的な変分上界とGNNの実践的実装を提供する。
• ベースラインや防御モデルに対する頑健性の向上を示す。

提案手法

• グラフが局所依存性を仮定する下で、I(D; ZX) を最小化しつつ I(Y; ZX) を最大化するように Graph Information Bottleneck (GIB) を定式化する。
• GIB目的関数の変分上界と下界を導出し、それを二つのサンプリング方式で具体化する。
• GIB を Graph Attention Networks (GAT) に実装し、二つのモデルを生み出す：GIB-Cat（カテゴリカルな近傍サンプリング）と GIB-Bern（Bernoulli近傍サンプリング）。
• 注意重みを介してグラフ構造を精練する二つのサンプリングアルゴリズムを用い、精練された構造の上でメッセージパッシングを行う。
• AIB と XIB の項を組み合わせた bounds ベースの目的関数と、ZX 結果の Y に対するクロスエントロピー様の項を用いて学習する。
• 学習済み表現の並べ替え不変性を保証する。

実験結果

リサーチクエスチョン

• RQ1 GIB は、グラフ構造およびノード特徴に対する敵対的撹乱に対して、グラフ表現の頑健性を改善できるか？
• RQ2 構造情報（AIB）と特徴情報（XIB）は GNN の頑健性にどのように寄与するか？
• RQ3 GIB-Cat および GIB-Bern は、既存のグラフ防御モデルと比べて現実的でスケーラブルな防御を提供するか？
• RQ4 グラフデータの i.i.d. 仮定の代わりに局所依存ベースの GIB を使用することの影響は何か？

主な発見

• GIB-Cat と GIB-Bern は、Cora および PubMed データセットにまたがる敵対的状況で、GCN や GAT などのベースラインを一貫して上回る。
• 敵対的撹乱下で、GIB モデルは PubMed の標的ノードで最大 31.3%（GIB-Cat）および 34.0%（GIB-Bern）の改善を、より少ない撹乱で達成する。
• アブレーションにより、AIB（構造）と XIB（特徴）の双方が頑健性に寄与し、構造的 AIB が Nettack 攻撃に対して重要な役割を果たすことが示された。
• GIB モデルは特徴摂動に対する頑健性を示し、ノードの置換不変性を有する。
• Citeseer では、データセット固有の次数分布により、GIB 手法は GCNJaccard のような特化攻撃に対して劣る可能性がある。