[論文レビュー] Towards Explanation for Unsupervised Graph-Level Representation Learning

Qinghua Zheng, Jihong Wang+5 more|arXiv (Cornell University)|May 20, 2022

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

本稿では、情報 Bottleneck 原理を用いて、教師なしグラフレベル表現を説明するための新規手法である Unsupervised Subgraph Information Bottleneck (USIB) を提案する。説明用部分グラフと表現との間の相互情報量を最大化し、同時に冗長性を最小化することで、特に合成データにおいて最先端の説明忠実度を達成し、表現の頑健性と表現力が説明品質に与える理論的関連を示す。

ABSTRACT

Due to the superior performance of Graph Neural Networks (GNNs) in various domains, there is an increasing interest in the GNN explanation problem "\emph{which fraction of the input graph is the most crucial to decide the model's decision?}" Existing explanation methods focus on the supervised settings, \eg, node classification and graph classification, while the explanation for unsupervised graph-level representation learning is still unexplored. The opaqueness of the graph representations may lead to unexpected risks when deployed for high-stake decision-making scenarios. In this paper, we advance the Information Bottleneck principle (IB) to tackle the proposed explanation problem for unsupervised graph representations, which leads to a novel principle, extit{Unsupervised Subgraph Information Bottleneck} (USIB). We also theoretically analyze the connection between graph representations and explanatory subgraphs on the label space, which reveals that the expressiveness and robustness of representations benefit the fidelity of explanatory subgraphs. Experimental results on both synthetic and real-world datasets demonstrate the superiority of our developed explainer and the validity of our theoretical analysis.

研究の動機と目的

• GNN によって生成される教師なしグラフレベル表現を説明するという未解決の問題に取り組む。
• ラベルに依存せずに、表現意思決定の背後にある最も情報を含む部分グラフを同定する手法を開発する。
• 表現の質（表現力と頑健性）と説明忠実度の間の理論的関連を確立する。
• 非ユークリッド空間の部分グラフとユークリッド空間の表現との間の説明空間における比較の課題を克服する。
• 提案手法の有効性を合成データおよび実世界のグラフデータセットにおいて示す。

提案手法

• グラフ表現を最も予測する部分グラフを同定するため、情報 Bottleneck 原理に基づく新規な説明フレームワークである USIB を提案する。
• 相互情報量を用いて説明タスクを形式化する：I(部分グラフ; 表現) を最大化し、I(部分グラフ; 入力グラフ) を最小化する。
• 勾配降下法を用いた部分グラフ選択の最適化のため、相互情報量の微分可能近似を用いる。
• GNN エンコーダとエンドツーエンドで訓練可能な部分グラフマスク機構を統合する。
• 理論的分析により、表現力があり頑健な表現は、より忠実な説明をもたらすことが示される。
• 事前学習済みおよび微調整済みの GNN に本手法を適用し、モデル容量の違いにおける汎化性を評価する。

実験結果

リサーチクエスチョン

• RQ1 教師なしグラフレベル表現の忠実かつ汎用的な説明手法を開発できるか？
• RQ2 グラフ表現の表現力と頑健性は、説明用部分グラフの忠実度にどのように影響するか？
• RQ3 教師なし設定において、表現の質と説明の質の間に理論的関連が存在するか？
• RQ4 USIB は合成グラフおよび実世界のグラフにおいて、既存の教師なし説明手法を上回ることができるか？
• RQ5 説明器の性能は、基盤となる GNN の能力および学習体制に依存するか？

主な発見

• USIB はベンチマークデータセットで最先端の性能を達成し、合成データの BA3 データセットにおいて ACC-AUC で 14.8% の相対的改善、Recall@5 で 10.44% の向上を示した。
• 実世界のデータセット（NCI1, PROTEINS）においても、他の教師なし説明手法を上回ったが、ラベルの監督がないため、教師ありベースラインには及ばなかった。
• 表現の表現力（クリーンなグラフにおける精度）と説明忠実度の間に強い正の相関が認められ、特にモデル精度が高いデータセットで顕著であった。
• ノイズのあるグラフにおける精度（頑健性）も、説明品質と正の相関を示し、表現力の差が小さい場合には特に顕著であった。
• 定性的な結果から、訓練されていない GNN は基本的なグラフ構造に注目するが、微調整済みモデルは「家」や「サイクル」のような意味のあるモチーフに注目するようになった。
• USIB の限界は、エッジを独立して扱うことにより、高次の部分構造の重要性を無視している点にあり、今後の構造に配慮した説明の研究が求められる。