[論文レビュー] Learning Deep Attribution Priors Based On Prior Knowledge

Ethan Weinberger, Joseph D. Janizek+1 more|arXiv (Cornell University)|Dec 20, 2019

Explainable Artificial Intelligence (XAI)参考文献 41被引用数 5

ひとこと要約

本論文では、メタ特徴量からグローバル特徴量重要度へのマッピングを同時に学習し、深層モデルがこれらの学習済みの事前知識に一致する局所的帰属を生成するように正則化する、Deep Attribution Prior (DAPr) フレームワークを提案する。メタ特徴量にエンコードされた事前知識を活用することで、DAPr は低データ環境における一般化性能を向上させるとともに、より解釈可能で人間が理解可能なモデルの説明を可能にする。

ABSTRACT

Feature attribution methods, which explain an individual prediction made by a model as a sum of attributions for each input feature, are an essential tool for understanding the behavior of complex deep learning models. However, ensuring that models produce meaningful explanations, rather than ones that rely on noise, is not straightforward. Exacerbating this problem is the fact that attribution methods do not provide insight as to why features are assigned their attribution values, leading to explanations that are difficult to interpret. In real-world problems we often have sets of additional information for each feature that are predictive of that feature's importance to the task at hand. Here, we propose the deep attribution prior (DAPr) framework to exploit such information to overcome the limitations of attribution methods. Our framework jointly learns a relationship between prior information and feature importance, as well as biases models to have explanations that rely on features predicted to be important. We find that our framework both results in networks that generalize better to out of sample data and admits new methods for interpreting model behavior.

研究の動機と目的

• 深層学習モデルにおける特徴量帰属手法が、ノイズに基づかない意味のある説明を生み出すことを保証する課題に対処すること。
• 既存の帰属手法が特定の特徴量に割り当てられた値が「なぜ」そうなるかを説明できないという制限を克服すること。
• 遺伝子経路や映画ジャンルなどの容易に入手可能なメタ特徴量を活用し、手作業で作成されたドメインルールを必要とせずにモデル学習をガイドすること。
• 医療などハイリスクドメインにおける、サンプル数が少ない状況でのモデル一般化性能を向上させること。
• 既知の生物学的知識やドメイン固有の知識に一致するメタ特徴量から特徴量重要度への関係を学習することで、新たな解釈可能性手法を可能にすること。

提案手法

• メタ特徴量を入力として、グローバル特徴量重要度を予測する別個の事前モデルを訓練する。
• 局所的帰属が予測されたグローバル重要度値に近づくよう促す微分可能損失ペナルティを導入する。
• トレーニング中に予測モデルと事前モデルをエンドツーエンドで同時に最適化する。
• 遺伝子経路、疾患関連性、映画メタデータなどのメタ特徴量を用い、ドメイン関連の事前知識をエンコードする。
• 合成データおよび2つの実世界の生物学的データセット（AML および アルツハイマー病）にこのフレームワークを適用する。
• 既知の生物学的経路における上位特徴量のエンリッチメントを確認することで、学習済み事前知識の解釈可能性を検証する。

実験結果

リサーチクエスチョン

• RQ1 メタ特徴量を用いて、低データ環境下でのモデル性能を向上させる汎用的な特徴量重要度事前知識を学習できるか？
• RQ2 DAPr フレームワークは、標準的な帰属手法に比べて、より解釈可能で信頼性の高いモデルの説明を提供できるか？
• RQ3 学習されたメタ特徴量から特徴量重要度への関係は、既知の生物学的知識やドメイン固有の知識と整合性を保っていると検証できるか？
• RQ4 DAPr は、既存の正則化ベースの帰属手法と比較して、一般化性能およびロバストネスの面で優れているか？
• RQ5 DAPr フレームワークは、専門家が定義した正則化関数を必要とせずに、多様なドメインに応用可能か、その範囲はどの程度か？

主な発見

• DAPr を用いてトレーニングされたモデルは、特にトレーニングデータが限られた状況でも、テストデータに対する一般化性能が向上している。
• DAPr フレームワークは、AML関連経路における顕著なエンリッチメントを示すように、既知の生物学的経路と一致するメタ特徴量から特徴量重要度への関係を効果的に学習している。
• ノイズに基づく DAPr モデルでは FDR 校正後に有意な経路エンリッチメントが認められなかったが、AML ドライバー DAPr モデルは複数の既知の AML 関連経路を捉えている。
• 事前モデルは、明示的な人為的ルールを必要とせずに、意味のある特徴量重要度パターンを独立して学習した。
• このフレームワークにより、特定の特徴量がなぜ重要視されるのかという「理由」を人間が理解可能な形で説明できる新たな解釈可能性手法が可能になった。
• DAPr は、小規模データセットにおける誤った相関関係やノイズへの依存を低減することで、モデルの信頼性を高めている。