[論文レビュー] Task-Agnostic Graph Explanations

Yaochen Xie, Sumeet Katariya+5 more|arXiv (Cornell University)|Feb 16, 2022

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

本稿では、下流のタスクにアクセスせずに自己教師あり学習によりグラフ埋め込みの説明を学ぶ、タスクに依存しないGNN説明モデルTageを提案する。これにより、マルチタスクGNNモデルおよび個々の埋め込み次元の効率的で統合的な説明が可能になる。Tageは、特にマルチタスク設定において、顕著に短い推論時間で最先端の説明品質を達成し、GNNExplainer や PGExplainer といったタスク特化型ベースラインを上回る性能を発揮する。

ABSTRACT

Graph Neural Networks (GNNs) have emerged as powerful tools to encode graph-structured data. Due to their broad applications, there is an increasing need to develop tools to explain how GNNs make decisions given graph-structured data. Existing learning-based GNN explanation approaches are task-specific in training and hence suffer from crucial drawbacks. Specifically, they are incapable of producing explanations for a multitask prediction model with a single explainer. They are also unable to provide explanations in cases where the GNN is trained in a self-supervised manner, and the resulting representations are used in future downstream tasks. To address these limitations, we propose a Task-Agnostic GNN Explainer (TAGE) that is independent of downstream models and trained under self-supervision with no knowledge of downstream tasks. TAGE enables the explanation of GNN embedding models with unseen downstream tasks and allows efficient explanation of multitask models. Our extensive experiments show that TAGE can significantly speed up the explanation efficiency by using the same model to explain predictions for multiple downstream tasks while achieving explanation quality as good as or even better than current state-of-the-art GNN explanation approaches. Our code is pubicly available as part of the DIG library at https://github.com/divelab/DIG/tree/main/dig/xgraph/TAGE/.

研究の動機と目的

• マルチタスクおよび自己教師あり学習の文脈において、従来のタスク特化型GNN説明モデルの非効率性と適用不能性を解消すること。
• 再訓練を必要とせず、1つの説明モデルで複数の下流タスクを説明可能にすることで、スケーラビリティとデプロイ効率を向上させること。
• 下流タスクのラベルや予測結果を必要としない、GNN埋め込み説明モデルの自己教師あり学習フレームワークを構築すること。
• 下流モデルに依存せず、忠実でスパースかつ解釈可能な個々のGNN埋め込み次元の説明を提供すること。
• 数百もの下流タスクを含む実世界のグラフデータセットにおいて、1タスクごとの説明モデルを訓練することができない状況で、説明の時間コストを削減すること。

提案手法

• GNNモデルをGNN埋め込みモデルと下流予測ヘッドに分解し、それぞれのコンponentに対して別個の説明モデルを訓練する。
• 下流タスクに依存せず、グラフまたはノード埋め込み上で自己教師ありの対照的損失を用いて学習する、タスクに依存しない埋め込み説明モデル（Tage）を設計する。
• 特定の埋め込み次元を説明するために、1-of-Kベクトルを条件入力として使用する条件付き入力メカニズムを採用する。
• 元の部分グラフと摂動を加えた部分グラフの間でインスタンスレベルの対照的学習を実施し、説明の忠実性とスパarsityを最適化する。
• 同じ訓練済みの埋め込み説明モデルを、異なる下流モデルに条件付けすることで、複数の下流タスクを説明可能にする。
• 忠実度スコアとエッジ重要度順位を用いて説明品質を評価し、赤色で強調されたエッジは上位10%の重要エッジを示す。

実験結果

リサーチクエスチョン

• RQ1 下流タスクの知識なしに1つのGNN説明モデルを訓練しても、複数の下流タスクに対して高品質な説明を生成できるか？
• RQ2 忠実度とスパarsityの観点から、タスクに依存しない説明モデルは、タスク特化型ベースラインと比べてどのように性能を発揮するか？
• RQ3 下流予測に依存せずに、個々のGNN埋め込み次元に対して意味のある説明を提供できるか？
• RQ4 1つのタスクに依存しない説明モデルを複数の下流タスクに適用することで、1タスクごとの説明モデルを訓練する場合と比べて、計算上の効率がどの程度向上するか？
• RQ5 下流モデルが非単射である場合に、埋め込み上で自己教師あり学習を実施することで、最終予測に基づく学習よりも説明の一貫性が高まるか？

主な発見

• Tageは、パrameter数が同じでも、GNNExplainer や PGExplainer といったタスク特化型ベースラインよりも高い忠実度とスパarsityを達成する。
• マルチタスク設定（T > 1）において、TageはGNNExplainer や PGExplainer よりも顕著に説明の時間コストを削減する。これらのベースラインは1タスクごとに別々に訓練を必要とする。
• Tageは、より一貫性のある説明を生成し、分子内の機能的グループのような連結された部分構造を強調する。これに対して、ベースラインは散在したエッジ選択を示す。
• 下流タスクが存在しない状況でも、Tageは個々の埋め込み次元に対して意味のある説明を生成でき、学習済み表現の解釈可能性を示している。
• 埋め込み次元の説明においても忠実度スコアが高く維持されるため、説明が下流予測タスクと一貫しており関連性が高いことが示された。
• 埋め込み上で自己教師あり学習を実施することで、特に非単射な下流モデルにおいて、最終予測に基づく学習よりも強い監督が得られ、説明の一貫性が向上することがわかった。