[論文レビュー] Explainability Techniques for Graph Convolutional Networks

Federico Baldassarre, Hossein Azizpour|arXiv (Cornell University)|May 31, 2019

Machine Learning in Materials Science参考文献 47被引用数 59

ひとこと要約

本論文は、グラフネットワークの勾配ベースおよび分解ベースの説明可能性技術を分析し、それらを玩具的な感染タスクと化学的溶解度タスクで比較するとともに、GNの説明のためのPyTorch実装を提供します。

ABSTRACT

Graph Networks are used to make decisions in potentially complex scenarios but it is usually not obvious how or why they made them. In this work, we study the explainability of Graph Network decisions using two main classes of techniques, gradient-based and decomposition-based, on a toy dataset and a chemistry task. Our study sets the ground for future development as well as application to real-world problems.

研究の動機と目的

• 化学、物理学および関連分野における解釈可能なグラフネットワークの必要性を動機づける。
• グラフ構造モデルへの説明技術（勾配ベースおよび分解ベース）の適用可能性を評価する。
• 異なる方法からの説明を対比し、GN説明可能性の課題と将来の方向性を強調する。

提案手法

• Battaglia 2018 のように edges/nodes の phi、rho を用いたメッセージパッシング更新を含む Graph Network (GN) の形式を採用する。
• GNs に対して三つの説明技術—感度分析 (SA)、ガイドバックプロパゲーション (GBP)、層別関連伝搬 (LRP)—を適用する。
• 回帰タスクに適応した入力関連への出力を分解するために、epsilon安定化されたLRP規則を使用する。
• 柔軟なグラフ入力のために PyTorch autograd の上に説明可能性手法を実装する。
• 2つのタスクで実験を行う：感染の toy データセットで感染ダイナミクスと説明の比較を行い、溶解度データセットで溶解度に関連する特徴を帰属づける。
• pooling、エッジの重要性、および異種特徴が説明に与える影響について議論を提供する。

実験結果

リサーチクエスチョン

• RQ1 勾配ベースの説明手法と分解ベースの手法は GN の予測を説明する際にどのように比較されるか？
• RQ2 GN の説明可能性を不規則なグラフ構造と異種特徴に適用する際の課題と考慮事項は何か？
• RQ3 pooling の選択とエッジの連結性は Graph Networks における説明の質と解釈性にどのように影響するか？
• RQ4 LRP のような分解ベースの説明は、変動ベースの方法と比較して GN の予測に対するより直観的な帰属を生み出すことができるか？

主な発見

• 変動ベースの説明（SA、GBP）は、グラフベースの意思決定における原因について人間の直感と一致しない場合がある。
• 分解ベースの説明（LRP）は、GN の予測に対してより自然で解釈可能な帰属を生む傾向がある。
• LRP は化学グラフの特定の原子特徴に正負の関連性を帰属づけることができ、溶解度に関連する既知の要因（例：R-OH 基が溶解度を増加させる）と一致する。
• エッジの役割は GN の多段階集約によって強化される。これにより、エッジ特徴が有用でなくても重要な結びつきが明らかになる。
• プーリングの選択（和/平均対最大）は説明に大きく影響し、最大プーリングは複数の寄与入力を覆い隠す可能性がある。一方LRPはこの制限のいくつかを緩和できる。
• 著者は GN の説明をサポートするオープンソースの PyTorch 実装を提供している（github.com/baldassarreFe/graph-network-explainability）。