[論文レビュー] Interpretable Geometric Deep Learning via Learnable Randomness Injection

Siqi Miao, Yunan Luo+2 more|arXiv (Cornell University)|Oct 30, 2022

Machine Learning in Materials Science被引用数 5

ひとこと要約

本論文は、点群特徴に学習可能なベルヌーイ分布またはガウス分布のノイズを組み込むことで、本質的に解釈可能な幾何学的ディープラーニング（GDL）モデルを可能にする一般化されたフレームワーク、学習可能ランダムネスインジェクション（LRI）を提案する。トレーニング中に組み込まれたランダムネスを最小化することで、LRIは予測に不可欠な顕著な点や幾何的パターンを特定し、科学的真実と整合性が高く分布シフトに対して頑健な、後処理的手法を上回る性能を示す。

ABSTRACT

Point cloud data is ubiquitous in scientific fields. Recently, geometric deep learning (GDL) has been widely applied to solve prediction tasks with such data. However, GDL models are often complicated and hardly interpretable, which poses concerns to scientists who are to deploy these models in scientific analysis and experiments. This work proposes a general mechanism, learnable randomness injection (LRI), which allows building inherently interpretable models based on general GDL backbones. LRI-induced models, once trained, can detect the points in the point cloud data that carry information indicative of the prediction label. We also propose four datasets from real scientific applications that cover the domains of high-energy physics and biochemistry to evaluate the LRI mechanism. Compared with previous post-hoc interpretation methods, the points detected by LRI align much better and stabler with the ground-truth patterns that have actual scientific meanings. LRI is grounded by the information bottleneck principle, and thus LRI-induced models are also more robust to distribution shifts between training and test scenarios. Our code and datasets are available at \url{https://github.com/Graph-COM/LRI}.

研究の動機と目的

• 科学的応用における本質的に解釈可能な幾何学的ディープラーニング（GDL）モデルの欠如に対処すること。
• ラベルの予測に寄与する顕著な点および幾何的パターンを同定するメカニズムを開発すること。
• 後処理手法に依存せず、解釈性を向上させることで、しばしば一貫性がなく信頼性の低い科学的洞察を生じる後処理手法を凌駆すること。
• 情報ボトルネック原理に基づいて理論的整合性と頑健性を確保する解釈の根拠を提供すること。
• 高エネルギー物理学およびバイオケミストリー分野の実世界の科学的データセットを用いて、手法を評価すること。

提案手法

• 点の存在の重要性を評価するために、学習可能なベルヌーイランダムネスをインジェクションする（LRI-Bernoulli）。
• 位置の重要性および微細な方向感受性を評価するために、幾何的特徴に学習可能なガウスノイズをインジェクションする（LRI-Gaussian）。
• 重要な点におけるランダムネスを最小化するように、情報ボトルネック原理に基づいた変分的目的関数を用いてGDLバックボーンをトレーニングする。
• 微分可能グラフ再構築を用いて、摂動モジュールのトレーニングを安定化させ、解釈性を向上させる。
• モデルサイズとパフォーマンスのバランスを考慮し、予測ヘッドと解釈ヘッドに共通または別々のエンコーダーを許容する。
• ドメイン固有の知識（例：化学的解釈性のための機能的グルーピングレベルの摂動）を組み込むために、摂動関数$h$を一般化する。

実験結果

リサーチクエスチョン

• RQ1 後処理による解釈に依存せずに、GDLモデルを本質的に解釈可能にするための汎用的メカニズムを設計できるか？
• RQ2 LRIは、既存の後処理手法と比較して、点群データにおける科学的に意味のあるパターンをどれほど正確に同定できるか？
• RQ3 LRIは、トレーニングデータとテストデータの間の分布シフトに対して、性能を向上させることができるか？
• RQ4 LRIは、粒子の軌道における方向感受性といった微細な幾何的パターンを捉えることができるか？
• RQ5 LRIは、より文脈に即した人間が理解しやすい解釈（例：機能的グルーピングレベルの重要度）を提供するために適合可能か？

主な発見

• LRIによって誘発されたモデルは、4つの科学的データセットすべてにおいて、後処理手法と比較して、真の科学的パターンと著しく良好に一致する点を検出する。
• LRIは、ドメインシフトのシナリオにおいて一貫したパフォーマンスを示すことで、分布シフトに対する頑健性が向上していることが示された。
• アブレーションスタディにより、微分可能グラフ再構築モジュールが安定的かつ効果的な解釈に不可欠であることが確認された。
• LRI-Gaussianは、幾何的特徴における方向感受性を効果的に捉えており、高エネルギー物理学（HEP）データにおける粒子速度方向の推定が可能になった。
• 予測と解釈のヘッドに別々のエンコーダーを使用することで、PLBindのような複雑なタスクでパフォーマンスが向上したが、単純なタスクでは共通エンコーダーでも十分であった。
• 予備実験の結果、機能的グルーピングレベルの摂動を用いることで、文脈に即した解釈性が向上し、科学者が生物学的に意味のある洞察に到達しやすくなった。