[論文レビュー] SUGAR: Subgraph Neural Network with Reinforcement Pooling and Self-Supervised Mutual Information Mechanism

Qingyun Sun, Jianxin Li+5 more|arXiv (Cornell University)|Jan 20, 2021

Advanced Graph Neural Networks参考文献 53被引用数 25

ひとこと要約

SUGAR は、 reinforcement pooling によって顕著なサブグラフを適応的に選択するサブグラフレベルの GNN を導入し、グラフ分類と解釈可能性のための自己教師付き相互情報目的でサブグラフ表現を強化する。

ABSTRACT

Graph representation learning has attracted increasing research attention. However, most existing studies fuse all structural features and node attributes to provide an overarching view of graphs, neglecting finer substructures' semantics, and suffering from interpretation enigmas. This paper presents a novel hierarchical subgraph-level selection and embedding based graph neural network for graph classification, namely SUGAR, to learn more discriminative subgraph representations and respond in an explanatory way. SUGAR reconstructs a sketched graph by extracting striking subgraphs as the representative part of the original graph to reveal subgraph-level patterns. To adaptively select striking subgraphs without prior knowledge, we develop a reinforcement pooling mechanism, which improves the generalization ability of the model. To differentiate subgraph representations among graphs, we present a self-supervised mutual information mechanism to encourage subgraph embedding to be mindful of the global graph structural properties by maximizing their mutual information. Extensive experiments on six typical bioinformatics datasets demonstrate a significant and consistent improvement in model quality with competitive performance and interpretability.

研究の動機と目的

• グローバル集約より顕著なサブグラフに焦点を当てたグラフレベルの表現学習フレームワークを開発する。
• 強化学習を用いて高度なドメイン知識なしに適応的なサブグラフ選択を可能にする。
• 相互情報を介してサブグラフ埋め込みをグローバルなグラフ特性と整合させることで強化する。
• どのサブグラフがグラフ分類を推進するかを特定することで解釈可能性を向上させる。

提案手法

• BFS を用いて高次数中心ノードの周囲のサブグラフをサンプル・エンコードし、サブグラフの集合を形成する。
• GNNとサブグラフ内注意機構を用いてサブグラフ埋め込みを得るために、サブグラフ内のノード表現をエンコードする。
• 強化学習ベースのトップ-k プーリングを用いて最も顕著なサブグラフを適応的に選択し、スケッチされたグラフを形成する。
• スケッチされたグラフ上でサブグラフ間のアテンションを構築してサブグラフ埋め込みを洗練する。
• 局所サブグラフ埋め込みとグローバルなグラフ表現との間で自己監視的相互情報目的を適用し、グローバルな意識を促進する。
• グラフ分類損失と MI ベースの正則化を結合したジョイント損失と、標準の L2 正則化を用いて訓練する。

実験結果

リサーチクエスチョン

• RQ1 SUGAR はベースラインと比較して生物情報学データセットで優れたグラフ分類性能を達成できるか？
• RQ2 サブグラフエンコーダ設計とサブグラフサイズは SUGAR の性能にどのように影響するか？
• RQ3 強化プーリング機構が性能に与える影響はどの程度か？
• RQ4 自己教師付き相互情報機構が表現品質に与える効果は？
• RQ5 SUGAR はグラフ内の支配的なサブグラフを特定・解釈できるか？

主な発見

• SUGAR は 6 つの生物情報学データセットで最先端または非常に競争力のある精度を、低い平均順位で達成する。
• 手法は MUTAG, PTC, PROTEINS, D&D, NCI1, NCI109 の平均順位で一貫して1位を獲得する。
• 強化プーリングは有益なサブグラフの適応的な選択を可能にし、汎化性能を向上させる。
• 相互情報の指針により、グローバルなグラフ構造と整合するサブグラフ埋め込みが生まれ、識別性を高める。
• SUGAR はどのサブグラフが分類決定を推進するかを強調することで解釈可能な洞察を提供する。