[論文レビュー] Visual Explanations for Convolutional Neural Networks via Input Resampling.

Benjamin J. Lengerich, Sandeep Konam+3 more|arXiv (Cornell University)|Jul 30, 2017

Explainable Artificial Intelligence (XAI)参考文献 1被引用数 16

ひとこと要約

本稿では、入力リサンプリングを通じて内部特徴表現を分析することにより、畳み込みニューラルネットワーク（CNN）の解釈フレームワークを提案する。ニューロンの活性化とネットワーク出力の相関を測定し、摂動を加えた入力における活性化の正確さを評価することで、予測に影響を与えるニューロンおよび一般化可能な特徴を特定する。これにより、内部注目メカニズムに関する洞察が得られる。

ABSTRACT

The predictive power of neural networks often costs model interpretability. Several techniques have been developed for explaining model outputs in terms of input features; however, it is difficult to translate such interpretations into actionable insight. Here, we propose a framework to analyze predictions in terms of the model's internal features by inspecting information flow through the network. Given a trained network and a test image, we select neurons by two metrics, both measured over a set of images created by perturbations to the input image: (1) magnitude of the correlation between the neuron activation and the network output and (2) precision of the neuron activation. We show that the former metric selects neurons that exert large influence over the network output while the latter metric selects neurons that activate on generalizable features. By comparing the sets of neurons selected by these two metrics, our framework suggests a way to investigate the internal attention mechanisms of convolutional neural networks.

研究の動機と目的

• 入力レベルの説明に依存せず、内部特徴表現の分析により畳み込みニューラルネットワークの解釈性を向上させること。
• 入力摂動下での出力変化との相関を通じて、モデル予測に顕著な影響を与えるニューロンを同定すること。
• 摂動を加えた入力における活性化の正確さを用いて、一般化可能な特徴に反応するニューロンを区別すること。
• 影響力と一般化性のメトリクスに基づき選択されたニューロンを比較することで、内部注目メカニズムに関する実行可能な洞察を提供すること。

提案手法

• 分析のために、入力画像を摂動してリサンプリングされた入力の集合を生成する。
• 摂動された入力の各々において、ニューロンの活性化とネットワーク出力の相関を測定し、予測への影響を評価する。
• 摂動に対するニューロン活性化の正確さ（一貫性）を計算することで、一般化可能な特徴検出器を特定する。
• 高い相関（影響力）と高い正確さ（一般化性）に基づきニューロンを選択し、それらのネットワーク内での役割を比較する。
• これらのニューロン集合の共通部分と相違点を比較することで、内部注目メカニズムを推論する。
• 画像分類タスクに適用された訓練済みのCNNにこのフレームワークを適用し、特徴レベルでの解釈可能性を分析する。

実験結果

リサーチクエスチョン

• RQ1 CNN内のどのニューロンが最終予測を決定づける上で最も影響力を持つのか？
• RQ2 どのニューロンが入力の変化にかかわらず一般化可能な特徴に反応するのか？
• RQ3 高い予測的影響力を持つニューロンと、一般化可能な特徴を検出するニューロンはどのように異なるのか？
• RQ4 影響力と正確さのメトリクスを比較することで、内部注目メカニズムに関する洞察を明らかにできるか？

主な発見

• 活性化と出力の間の相関が強いニューロンは、ネットワークの最終予測を強く決定づける。
• 摂動を加えた入力に対して高い活性化正確さを示すニューロンは、入力内に一般化可能で頑健な特徴に反応する可能性が高い。
• 影響力に基づくニューロン集合と正確さに基づくニューロン集合の重なりと相違点から、内部注目メカニズムが特徴検出器にどのように分布しているかが明らかになる。
• このフレームワークにより、ニューロンの活動を予測力と特徴の一般化性に結びつけることで、モデル行動のより実行可能な解釈が可能になる。