[論文レビュー] Using KL-divergence to focus Deep Visual Explanation

Housam Khalifa Bashier Babiker, Randy Goebel|arXiv (Cornell University)|Nov 17, 2017

Explainable Artificial Intelligence (XAI)参考文献 9被引用数 3

ひとこと要約

本論文は、分類に影響を及ぼす顕著な画像領域に注目するために、Kullback-Leibler (KL) 散発を用いた新規手法を提案する。予測スコアと正例スコアのKL散発勾配を計算し、それを正規化して特徴マップ上に重み付けマップとして適用することで、判別的な画素を強調する注目ヒートマップを生成する。この手法により、VGG-16 および AlexNet モデルにおいて、ベースライン手法よりも明確な局在化を示す、向上した解釈可能性が得られた。

ABSTRACT

We present a method for explaining the image classification predictions of deep convolution neural networks, by highlighting the pixels in the image which influence the final class prediction. Our method requires the identification of a heuristic method to select parameters hypothesized to be most relevant in this prediction, and here we use Kullback-Leibler divergence to provide this focus. Overall, our approach helps in understanding and interpreting deep network predictions and we hope contributes to a foundation for such understanding of deep learning networks. In this brief paper, our experiments evaluate the performance of two popular networks in this context of interpretability.

研究の動機と目的

• 医療画像などハイリスク分野における深層畳み込みニューラルネットワークの解釈可能性の課題に対処すること。
• 与えられた分類意思決定において、最も影響力のある画素を特定し、強調すること。
• KL散発を関連性の指標として用いることで、判別的領域に注目することにより、可視化の質を向上させること。
• VGG-16 および AlexNet などの異なるネットワークアーキテクチャが、解釈可能な説明を生成する際の性能を比較すること。

提案手法

• 事前学習済みのCNN（例：VGG-16）の最終層から得られる原始的なクラススコアを用い、ガウスカーネルに基づく類似度測定により結合確率を推定する。
• 周囲の確率をモデル化するため、ペアワイズ類似度をパーセプレキシティを用いて推定し、正例分布をモデル化する。
• 予測分布と正例分布の間のKL散発勾配を計算し、関連するニューロンおよび特徴を同定する。
• zスコア正規化（平均0、標準偏差1）を用いてKL勾配を正規化し、注目重みαを取得する。
• 正規化された重みαを、特徴マップとの要素ごとの乗算により空間的注目マップとして適用し、チャネルに沿って合算することで、サリエンシー・マップを生成する。
• 最終的なサリエンシー・マップを可視化用に正規化し、分類意思決定に最も影響を与える画素を強調するヒートマップを生成する。

実験結果

リサーチクエスチョン

• RQ1 KL散発を用いることで、深層ニューラルネットワークにおける最も関連性の高い画像領域に視覚的説明を集中させることは可能か？
• RQ2 視覚的説明の質は、下位のディープラーニングモデルの精度と相関するか？
• RQ3 提案手法であるKLベースのアプローチは、ガイドドバックプロパゲーションやGrad-CAMといった既存の説明手法と比較して、局在化の正確性に優れているか？
• RQ4 KL散発勾配は、多様な画像カテゴリにわたり、判別的特徴を効果的に捉えることができるか？

主な発見

• 提案手法は、ガイドドバックプロパゲーションやGrad-CAMといったベースライン手法と比較して、複雑なシーンにおいてもはるかに鋭く集中したサリエンシー・マップを生成した。
• VGG-16はAlexNetよりも精度が高いため、より局在的かつ正確な注目マップを生成しており、モデルの精度と説明の質の間には直接的な相関があることが示された。
• KL散発勾長は、カコアトウの顔、ラケットのレンズ、交通標識の表示といった判別的領域を効果的に同定しており、人間の直感と整合した。
• zスコア変換によるKL勾長の正規化は、得られる注目マップの安定性と解釈可能性を向上させた。
• 本手法は、COCOデータセットの多様な画像において分類意思決定の根拠を効果的に可視化でき、オブジェクトカテゴリにわたり高いロバスト性を示した。
• アルゴリズムは一般化可能であり、音声や自然言語処理などの他の分野へも応用可能で、解釈可能性の向上に寄与する。