[論文レビュー] On Feature Relevance Uncertainty: A Monte Carlo Dropout Sampling Approach

Kai Fabi, Jonas Schneider|arXiv (Cornell University)|Aug 3, 2020

Explainable Artificial Intelligence (XAI)参考文献 15被引用数 5

ひとこと要約

本論文では、モンテカルロドロップアウトサンプリングを用いてニューラルネットワーク内の特徴ごとの関連性の不確実性を推定する、モンテカルロリーダンスプロパゲーション（MCRP）を提案する。近似的な特徴関連性分布を計算することにより、MCRPは、どの特徴が重要であるかだけでなく、その関連性についてネットワークがどの程度確信を持っているのかも明らかにするため、点推定に基づく説明手法に比べて顕著な前進を遂げる。

ABSTRACT

Understanding decisions made by neural networks is key for the deployment of intelligent systems in real world applications. However, the opaque decision making process of these systems is a disadvantage where interpretability is essential. Many feature-based explanation techniques have been introduced over the last few years in the field of machine learning to better understand decisions made by neural networks and have become an important component to verify their reasoning capabilities. However, existing methods do not allow statements to be made about the uncertainty regarding a feature's relevance for the prediction. In this paper, we introduce Monte Carlo Relevance Propagation (MCRP) for feature relevance uncertainty estimation. A simple but powerful method based on Monte Carlo estimation of the feature relevance distribution to compute feature relevance uncertainty scores that allow a deeper understanding of a neural network's perception and reasoning.

研究の動機と目的

• 既存のニューラルネットワークの特徴ベースの説明手法における不確実性推定の欠如に対処すること。
• 予測だけでなく、個々の入力特徴の関連性についてのモデルの信頼度を表現できるようにすること。
• 自律走行や医療画像診断などの安全上の重要な分野におけるディープラーニングモデルの解釈可能性と信頼性を向上させること。
• LRP、Grad-CAM、DeepLIFTなどの既存の説明手法を拡張可能な汎用的で教師なしのフレームワークを提供すること。
• モデルのトレーニングと比較のための新たな評価指標として「特徴関連性の不確実性」を提供すること。

提案手法

• ドロップアウトを確率的に行い、複数回の順方向伝搬を生成することで、特徴関連性スコアの分布を生成する。
• 各ドロップアウトサンプルに対してレイヤーごとの関連性プロパゲーション（LRP）を適用し、個々の特徴の関連性スコアを計算する。
• 複数回の順方向伝搬における関連性スコアを集約し、特徴関連性分布の平均と分散を推定する。
• 関連性分布の標準偏差として不確実性スコアを計算し、モデルが特徴の重要性についてどの程度自信を持っているかを反映する。
• 入力レベルおよび隠れ層の両方の特徴関連性不確実性推定をサポートし、複数の抽象化レベルでの分析を可能にする。
• アーキテクチャに依存せず、ネットワークの計算グラフに依存するあらゆる説明手法に適用可能である。

実験結果

リサーチクエスチョン

• RQ1 モンテカルロサンプリングを用いて、原理的かつ計算的に実行可能な方法で特徴関連性の不確実性を推定できるか？
• RQ2 特徴関連性の不確実性は、モデルの信頼度や予測の信頼性とどの程度相関するか？
• RQ3 MCRPは、顕著な特徴における高い不確実性を特定することで、モデルの過信状態を検出できるか？
• RQ4 MCRPは、特徴の重要性における不確実性を明らかにすることで、標準的なLRPをはるかに超えた解釈可能性を提供できるか？
• RQ5 特徴関連性の不確実性は、モデルのトレーニングと検証中に新たな評価指標として機能できるか？

主な発見

• MCRPはドロップアウトを用いた複数回の順方向伝搬のサンプリングにより、特徴関連性スコアの分布的推定を可能にし、特徴関連性の不確実性を成功裏に推定した。
• 動物画像における頭部や顔などの特徴は、高い関連性と低い不確実性を示し、ネットワークが判別的特徴に自信を持っていることを示している。
• 腕や脚などの体部は、より高い不確実性を示しており、分類における判別力が低く、曖昧さが大きいことを反映している。
• この手法は、ネットワークがしばしば単純で局所的な特徴（例：顔）に依存していることを明らかにした。これは、最小限の手がかりに過剰適合する原因となる可能性がある。
• 高い予測的信頼度と高い特徴関連性不確実性を併せ持つことは、安全上の重要なシステムにおいて深刻な警告サインである、モデルの過信状態を示している。
• 特徴関連性の不確実性は、モデルの比較やトレーニングプロセスの監視に新たな評価指標として利用可能であり、モデルが成熟するに従い不確実性が低下することが観察された。