[論文レビュー] Explaining the Unexplained: A CLass-Enhanced Attentive Response (CLEAR) Approach to Understanding Deep Neural Networks

Devinder Kumar, Alexander Wong+1 more|arXiv (Cornell University)|Apr 13, 2017

Explainable Artificial Intelligence (XAI)参考文献 3被引用数 11

ひとこと要約

本稿では、注意領域の位置、活性化レベル、および各領域に影響を与える支配的クラスを同時に可視化することにより、深層ニューラルネットワークの意思決定を解釈するための新規可視化手法であるCLEAR（Class-Enhanced Attentive Response）を提案する。ヒートマップベースの手法が注意の強度のみを示すのに対し、CLEARは複数要因にわたる解釈可能性を提供し、意思決定の曖昧さを顕著に低減し、複数のデータセットにおけるDNNの予測理由に関する洞察を向上させる。

ABSTRACT

In this work, we propose CLass-Enhanced Attentive Response (CLEAR): an approach to visualize and understand the decisions made by deep neural networks (DNNs) given a specific input. CLEAR facilitates the visualization of attentive regions and levels of interest of DNNs during the decision-making process. It also enables the visualization of the most dominant classes associated with these attentive regions of interest. As such, CLEAR can mitigate some of the shortcomings of heatmap-based methods associated with decision ambiguity, and allows for better insights into the decision-making process of DNNs. Quantitative and qualitative experiments across three different datasets demonstrate the efficacy of CLEAR for gaining a better understanding of the inner workings of DNNs during the decision-making process.

研究の動機と目的

• ヒートマップベースの解釈手法が、特定の画像領域が意思決定にどのように影響するかを説明できないという、深層ニューラルネットワークにおける根本的な限界を是正すること。
• 注目領域の位置と強度に加え、各注目領域に関連する支配的クラスを捉える可視化技術を開発すること。
• 意思決定プロセスの多面的視点を提供することで、DNNの意思決定の曖昧さを低減し、高リスク分野における信頼性と解釈可能性を向上させること。
• 多様なデータセット上で本手法の有効性を実証的に検証し、従来の手法と比較してDNN挙動に関する洞察が向上することを示すこと。

提案手法

• 訓練済みDCNNの最終層を用いて、各クラスごとに個別の注目応答マップを計算する。
• すべてのクラスにわたる各空間的位置における最大活性化レベルを強調することで、支配的注目応答マップを生成する。
• 各空間的位置に、最大活性化を持つクラスを割り当てる支配的クラス注目マップを構築する。
• これらの2つのマップ（支配的応答および支配的クラス）を統合して最終的なCLEARマップを生成し、色で支配的クラス、濃度で活性化強度を符号化する。
• 本手法はデコンボリューションベースのサリエンシー手法と互換性があり、LRPやDeep Taylor分解などの他の帰属手法への拡張も可能である。
• MNIST、CIFAR-100、Stanford Dogsデータセットからの画像に本手法を適用し、意思決定プロセスの可視化と分析を実施する。

実験結果

リサーチクエスチョン

• RQ1 単なる注目ヒートマップを越えて、深層ニューラルネットワークの意思決定をどのようにして解釈性を高められるか。
• RQ2 特定の画像領域とそれに関連するクラスは、DNNの最終予測にどのように寄与しているか。
• RQ3 各注目領域における支配的クラスを可視化することで、DNNが特定の意思決定を下した「理由」の曖昧さを低減できるか。
• RQ4 CLEARマップで特定された強力な特徴が、正しく分類されるのとどの程度相関しているか。
• RQ5 従来のヒートマップベースの手法と比較して、CLEARはDNNの真の意思決定根拠をどの程度よく明らかにできるか。

主な発見

• CLEARマップは、ネットワークがどこに注目しているかだけでなく、各領域で最も影響力を持つクラスも示すことで、意思決定の曖昧さを効果的に低減する。
• 実験の結果、CLEARが特定した強力な特徴は、正しく分類するために不可欠であることが判明し、それらを除去すると正確性が著しく低下する。
• 強力な特徴を除去しても分類が継続する場合、ネットワークはしばしば冗長または類似した特徴に依存しており、特徴の重複による耐性が示唆される。
• 誤分類例では、CLEARマップにより誤ったクラス（例：チワワではなくシバ犬）の活性化が高いために予測が誤ったことが明らかになった。
• 本手法により、DNNにおけるクラスの証拠が局所的かつスパarselyであることが可視化され、特徴空間内の特定で非一様な領域から生じることが示された。
• ヒートマップやバイナリマップと比較して、CLEARマップは特にネットワークが正しい特徴に注目しているが依然として誤分類を行うケースにおいて、優れた解釈性を示した。