[論文レビュー] Efficient Image Evidence Analysis of CNN Classification Results

Keyang Zhou, Bernhard Kainz|arXiv (Cornell University)|Jan 5, 2018

Explainable Artificial Intelligence (XAI)参考文献 15被引用数 3

ひとこと要約

この論文は、1回の順方向および逆方向パスによって勾配に基づく類似マップを計算することにより、CNN分類意思決定の背後にある画像証拠を高速かつノイズに強く可視化する手法を提案する。予測差分析を入力空間における期待値の計算に再定式化することで、従来手法に比べ10倍の高速化を達成し、関連する画像領域に焦点を当てた、より明確で解釈可能な証拠マップを生成する。

ABSTRACT

Convolutional neural networks (CNNs) define the current state-of-the-art for image recognition. With their emerging popularity, especially for critical applications like medical image analysis or self-driving cars, confirmability is becoming an issue. The black-box nature of trained predictors make it difficult to trace failure cases or to understand the internal reasoning processes leading to results. In this paper we introduce a novel efficient method to visualise evidence that lead to decisions in CNNs. In contrast to network fixation or saliency map methods, our method is able to illustrate the evidence for or against a classifier's decision in input pixel space approximately 10 times faster than previous methods. We also show that our approach is less prone to noise and can focus on the most relevant input regions, thus making it more accurate and interpretable. Moreover, by making simplifications we link our method with other visualisation methods, providing a general explanation for gradient-based visualisation techniques. We believe that our work makes network introspection more feasible for debugging and understanding deep convolutional networks. This will increase trust between humans and deep learning models.

研究の動機と目的

• 医療画像や自動運転などの重要なアプリケーションにおけるCNN意思決定を理解するための、効率的で解釈可能な可視化手法の不足に対処すること。
• 可視化の計算コストを低減しながら、解釈性とノイズ耐性を維持または向上させること。
• 勾配ベースの可視化技術を共通の数学的定式化を通じて統合するフレームワークを提供すること。
• デバッグ、信頼構築、モデル検証のための、ディープネットワークの迅速な内部観察を可能にすること。

提案手法

• 出力空間ではなく入力空間における期待値の計算を行う予測差分析の新しい定式化を提案し、高次元分布からのコストの高いサンプリングを回避する。
• 分類器出力の入力画素に関する勾配を用いて、1回の順方向および逆方向パスで画素ごとの重要度スコアを計算する。
• 局所的な画素の文脈をモデル化するための条件付き平均ベースのベースライン $ x_i' $ を導入し、隣接画素からの予測可能性に基づいて画素に重みを付ける。
• 重み付けルール $ R_i = \frac{\partial f}{\partial x_i} \cdot (x_i - x_i') $ を適用し、局所的文脈から逸脱する画素に注目を集中させ、特徴の識別的側面を強調する。
• 速度向上のための単一パスアルゴリズムに簡素化するが、ノイズが増加する代償を負う。これにより、他の勾配ベースの手法と比較可能となる。
• 勾配ベースの帰属割り当ての共通の数学的基盤を示すことにより、本手法をクラス類似マップやDeep Taylor分解といった既存手法と結びつける。

実験結果

リサーチクエスチョン

• RQ1 解釈性を損なわず、CNN分類意思決定の証拠可視化を著しく高速化することは可能か？
• RQ2 条件付き期待値による画素の文脈モデリングは、類似マップの品質と焦点の明確さをどのように向上させるか？
• RQ3 本手法とクラス類似マップやDeep Taylor分解といった既存の勾配ベースの可視化手法との関係は何か？
• RQ4 単一パスで入力空間における期待値を計算する定式化は、複数パスでサンプリングを行う手法に比べ、速度とノイズ耐性において優れているか？

主な発見

• 提案手法は、先行研究の最先端手法 [19] よりも少なくとも10倍高速に動作し、前方伝播の回数を削減し、サンプリングを排除することで顕著な高速化を達成した。
• 本手法は、出力空間における確率的サンプリングを回避するため、ベースライン手法よりもノイズの少ない可視化を生成する。
• 可視化は解釈性が高く、特に背景ノイズではなく物体に焦点を当てた、関連する画像領域に集中している。
• 簡素化されたバージョンの手法は、より高速ではあるがノイズが多くなるため、完全な定式化が信号対ノイズ比をより良く保持していることが確認された。
• 本手法は、クラス類似マップやDeep Taylor分解と数学的に関連しており、すべての3つの手法が勾配ベースの帰属割り当てを用い、文脈や基点に基づく異なる重み付けルールを適用していることが示された。
• 同じクラスの画像に適用した場合、本手法は不変の、クラス固有の意思決定ルールを特定でき、データセット全体における分類器の挙動の分析が可能になる。