[論文レビュー] An Introduction to Deep Visual Explanation

Housam Khalifa Bashier Babiker, Randy Goebel|arXiv (Cornell University)|Nov 26, 2017

Data Visualization and Analytics参考文献 15被引用数 14

ひとこと要約

本稿では、多スケールのフーリエ活性化解析を用いて判別的特徴を可視化することにより、深層畳み込みニューラルネットワーク（DCNN）の解釈を可能にするフレームワーク「Deep Visual Explanation（DVE）」を紹介する。再訓練を必要とせず、1枚あたり0.0006秒未塔で正確で解釈可能な説明を提供し、画像分類および皮膚腫瘍診断の分野で有効性が検証された。

ABSTRACT

The practical impact of deep learning on complex supervised learning problems has been significant, so much so that almost every Artificial Intelligence problem, or at least a portion thereof, has been somehow recast as a deep learning problem. The applications appeal is significant, but this appeal is increasingly challenged by what some call the challenge of explainability, or more generally the more traditional challenge of debuggability: if the outcomes of a deep learning process produce unexpected results (e.g., less than expected performance of a classifier), then there is little available in the way of theories or tools to help investigate the potential causes of such unexpected behavior, especially when this behavior could impact people's lives. We describe a preliminary framework to help address this issue, which we call "deep visual explanation" (DVE). "Deep," because it is the development and performance of deep neural network models that we want to understand. "Visual," because we believe that the most rapid insight into a complex multi-dimensional model is provided by appropriate visualization techniques, and "Explanation," because in the spectrum from instrumentation by inserting print statements to the abductive inference of explanatory hypotheses, we believe that the key to understanding deep learning relies on the identification and exposure of hypotheses about the performance behavior of a learned deep model. In the exposition of our preliminary framework, we use relatively straightforward image classification examples and a variety of choices on initial configuration of a deep model building scenario. By careful but not complicated instrumentation, we expose classification outcomes of deep models using visualization, and also show initial results for one potential application of interpretability.

研究の動機と目的

• 深層学習における説明可能性の課題、特に予期しないまたは高リスクな予測を出力するモデルに対して対処すること。
• 迅速で人間が理解可能な深層ニューラルネットワークの内部挙動に関する洞察を提供する可視化駆動型フレームワークの開発。
• 特に医療診断のような感受性の高い分野において、DCNNが特定の予測を行う理由を特定するためのデバッグツールの提供。
• モデルの意思決定プロセスにおいて最も影響力のある特徴を露呈する汎用的で計算効率の良い手法の構築。
• 画像分類および医療画像解析の分野におけるフレームワークの有効性の検証を通じて、その頑健性と解釈可能性の確認。

提案手法

• 多スケールのフーリエ空間解析を用いて、分類意思決定に寄与する高周波および低周波の空間周波数パターンを同定する。
• 異なる周波数成分が最終予測に与える寄与度を分析することで、判別的画像パッチを可視化する。
• 再訓練や最適化問題の解法を必要としないため、計算効率が高く、事前学習済みモデルへの適用が可能である。
• 画像にガウスノイズを適用し、予測の信頼性と注目領域の変化を観察することで、モデルの頑健性を評価する。
• 実世界のタスクにおける解釈可能性の検証のため、画像分類にVGG-16、皮膚腫瘍分類に事前学習済みモデルを適用する。
• ネットワーク出力に最も影響を与える最小限のサリエンス領域を強調することで、視覚的説明を生成する。

実験結果

リサーチクエスチョン

• RQ1 DCNNの意思決定プロセスを、解釈可能かつ効率的な方法で視覚的に説明するにはどうすればよいか？
• RQ2 画像内のどの特徴がDCNNの予測に最も影響を与え、どのようにしてそれらを分離・可視化できるか？
• RQ3 再訓練やアーキテクチャの変更なしに、事前学習済みモデルに可視化ベースの説明フレームワークを適用可能か？
• RQ4 画像の劣化、例えばぼかし処理に対してDCNNの予測はどの程度頑健か？これにより特徴への依存度がどのように明らかになるか？
• RQ5 提案手法は、医療画像分類のような高リスク分野において、意味的で実用的な洞察を提供できるか？

主な発見

• DVEフレームワークは、DCNNの予測に影響を与える最も判別的であるピクセルを効果的に同定・可視化し、正しく分類された場合および誤った分類の場合の両方で解釈性を向上させた。
• 高い計算効率を達成しており、Intel Core i7 CPU上では1枚あたり約6 × 10⁻⁴秒で処理が可能である。
• フレームワークは、DCNNが一般的な画像構造ではなく、特定の局所的なピクセルパターンに依存していることを明らかにした。これは、画像をぼかした場合に正しく分類できないことからも裏付けられている。
• 医療画像解析の分野では、ネットワークが皮膚腫瘍を良性または悪性と分類するために使用する最も関連性の高い領域（例：腫瘍の特徴）を明確に強調した。
• COCOデータセットの画像や皮膚鏡画像を含む多様な画像タイプにおいて、視覚的説明は解釈可能で一貫性を示した。
• 一部のケースではぼかしに対して頑健であることが示されたが、重要な特徴が隠された場合にはモデルの脆さが露呈し、正確なピクセルレベルの詳細に依存していることが明らかになった。