[論文レビュー] A New Method to Visualize Deep Neural Networks

Luisa Zintgraf, Taco Cohen+1 more|arXiv (Cornell University)|Mar 8, 2016

Explainable Artificial Intelligence (XAI)参考文献 8被引用数 25

ひとこと要約

本論文は、特定のニューロンに対する入力ピクセルの寄与度を計算することで、深層畳み込みニューラルネットワークを可視化する新しい手法を提案する。条件付き多変量モデルを用いて、分類予測の裏付けとなる証拠または反証となる証拠を強調することで、畳み込みネットワークの意思決定プロセスの理解を深める。この手法は感度マップの欠点を補い、符号付きでインスタンス固有の説明を提供し、画像領域の肯定的および否定的寄与を明らかにすることで、より深い洞察をもたらす。

ABSTRACT

We present a method for visualising the response of a deep neural network to a specific input. For image data for instance our method will highlight areas that provide evidence in favor of, and against choosing a certain class. The method overcomes several shortcomings of previous methods and provides great additional insight into the decision making process of convolutional networks, which is important both to improve models and to accelerate the adoption of such methods in e.g. medicine. In experiments on ImageNet data, we illustrate how the method works and can be applied in different ways to understand deep neural nets.

研究の動機と目的

• 医療など意思決定が重大な分野において、深層ニューラルネットワークの解釈不能性を是正すること。
• セマンティックマップやデコンボリューションネットワークなどの既存の可視化技術の限界を克服すること。これらは、あるクラスに対する証拠と反証を明確に区別できないことがある。
• 各入力ピクセルの寄与度を定量化することで、深層ニューラルネットワークがどのように予測に至ったかをより厳密に、インスタンス固有の説明を提供すること。
• 研究者や実務家が、モデルの挙動をよりよく診断し、バイアスを特定し、視覚的検査によってネットワーク性能を向上させることを可能にすること。

提案手法

• 本手法は、ネットワーク内の特定のノード（隠れ層または出力層）に対して、入力ピクセルの寄与度を条件付き多変量モデルを用いて計算する。
• Robnik-ŠikonjaとKononenko（2008）にインspiredされた摂動ベースのアプローチを採用し、各ピクセルを削除またはマスクした際のノード活性化の変化を測定する。
• 各ピクセルについて、残りの入力を多変量正規分布近似のもとで、ピクセルを含む場合と含まない場合の活性化の差分として寄与度を計算する。
• 局所的な寄与度を計算するために、さまざまなサイズ（k と l）のパッチベースのマスキングを用いることで、特徴の寄与度に関する空間的詳細な理解が可能になる。
• 寄与度スコアは符号付きマップとして可視化される：赤は活性化を増加させる（クラスの裏付けとなる）ピクセルを示し、青は活性化を減少させる（クラスの反証となる）ピクセルを示す。
• 本手法は、初期畳み込み層から深い特徴マップに至るまで、複数の層にわたって適用され、階層的特徴学習の分析が可能になる。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークにおいて、特定のクラス予測に関してどの入力ピクセルが証拠または反証を提供しているかを可視化する方法は何か？
• RQ2 本手法は、従来のセマンティックマップやデコンボリューション可視化手法に比べて、解釈可能性および正確性の面でどのように向上しているか？
• RQ3 隠れ層ユニットの可視化と最終出力層の可視化にはどのような違いがあり、それらがネットワークの意思決定プロセスをどのように明らかにするか？
• RQ4 本手法は、物体の輪郭や背景特徴といった領域において、肯定的および否定的証拠を検出し、強調表示できるか？これによりモデル理解がどのように向上するか？
• RQ5 条件付き多変量モデルの使用は、単純な勾配ベース手法と比較して、特徴寄与度マップの信頼性と解釈可能性をどのように向上させるか？

主な発見

• 提案手法は、符号付きの寄与度マップを生成し、従来のセマンティックマップとは異なり、クラスの裏付けとなる証拠と反証となる証拠を明確に区別する。
• 本手法は、物体の輪郭や文脈的背景特徴がしばしば否定的証拠を示していることを明らかにした。これは、従来の勾配ベース手法では捉えきれない。
• 最終層（pre-softmax）の可視化では、類似したクラス（例：異なる犬の種類）に対して類似したパターンが観察されたが、出力層の可視化では、ゾウの耳の形状といった明確な識別的特徴が顕在化した。
• 隠れ層の可視化では、初期層がエッジやテクスチャといった単純な特徴を検出しているのに対し、より深い層では目や顔の構造といった複雑で意味的なパターンに反応していることがわかった。
• 深い層では、非常に特化したユニットが存在し、スパースな活性化が観察された。これは、個々の特徴マップが特定の局所的パターンにチューニングされていることを示している。
• パッチサイズ k=10 と l=14 を用いた条件付きサンプリングにより、ネットワークのさまざまな深さにおける特徴マップの挙動を、きめ細やかで信頼性の高い方法で可視化できるようになった。