[論文レビュー] Understanding Neural Networks Through Deep Visualization

Jason Yosinski, Jeff Clune+3 more|arXiv (Cornell University)|Jun 22, 2015

Generative Adversarial Networks and Image Synthesis参考文献 10被引用数 1,469

ひとこと要約

本論文は、深層ニューラルネットワークの解釈性を向上させるための2つのオープンソースツールを紹介する。(1)ライブ入力に対して各層の特徴マップの活性化をリアルタイムで可視化するもの、(2)正則化最適化を用いて学習済み特徴の解釈可能な可視化を生成するものである。主な貢献は、新規の正則化技術を用いて、はるかに明確で現実的である特徴可視化を実現したことであり、畳み込みニューラルネットワーク（CNN）が物体やパターンを検出する仕組みをより深く理解する手がかりが得られる。

ABSTRACT

Recent years have produced great advances in training large, deep neural networks (DNNs), including notable successes in training convolutional neural networks (convnets) to recognize natural images. However, our understanding of how these models work, especially what computations they perform at intermediate layers, has lagged behind. Progress in the field will be further accelerated by the development of better tools for visualizing and interpreting neural nets. We introduce two such tools here. The first is a tool that visualizes the activations produced on each layer of a trained convnet as it processes an image or video (e.g. a live webcam stream). We have found that looking at live activations that change in response to user input helps build valuable intuitions about how convnets work. The second tool enables visualizing features at each layer of a DNN via regularized optimization in image space. Because previous versions of this idea produced less recognizable images, here we introduce several new regularization methods that combine to produce qualitatively clearer, more interpretable visualizations. Both tools are open source and work on a pre-trained convnet with minimal setup.

研究の動機と目的

• 深層ニューラルネットワークにおける中間層の表現の解釈性の欠如に取り組むこと、特に中間層表現の理解を目的とする。
• 研究者や実務家が訓練済みの畳み込みニューラルネットワーク（CNN）が入力にどのように反応するかを直感的に理解できるよう、対話型ツールを開発すること。
• より解釈可能で現実的である可視化を生成する新しい正則化手法を導入することで、特徴可視化の質を向上させること。
• 学習済み特徴の真の不変性と局所性を明らかにすることで、より良いデバッグ、モデル改善、トランスファーラーニングを可能にすること。
• 学習済み事前分布と特徴表現を活用して、判別的に学習されたネットワークを生成的モデリングに応用する可能性を検討すること。

提案手法

• 最初のツールは、ライブウェブカメラ入力や静止画像を処理する際、事前学習済みCNNの各層における特徴マップの活性化をリアルタイムで可視化する。
• 2番目のツールは、画像空間における正則化勾配上昇法を用いて、特定のニューロンやチャネルを最大に活性化する入力画像を最適化する。
• 全変動、色のジャマ、空間スムージングなどの新規正則化技術が導入され、最適化を制約し、より現実的で解釈可能な可視化を実現する。
• ノイズを抑えるとともに構造的整合性を保つために、複数の正則化項を組み合わせ、はっきりとした特徴検出器（例：顔、車輪、目）を生成する。
• この手法により、ニューロンの好みの刺激を最もよく表す、トレーニング画像の上位活性化画像と、最適化された合成画像の両方を可視化できる。
• これらのツールはオープンソースソフトウェアとして実装されており、AlexNetなどの標準的な事前学習済みモデルと互換性があり、最小限のセットアップで利用可能である。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、深層畳み込みニューラルネットワークの中間特徴表現の解釈性を向上させることができるか？
• RQ2 正則化最適化を用いて、ノイズではなく意味的で現実的な特徴を明らかにする可視化は、どのようなものを作成できるか？
• RQ3 訓練済みCNNにおける特徴検出器は、自然画像の部分に対してどのように反応するのか？また、それらはチャネルにわたって局所的か、分散的か？
• RQ4 判別的に学習されたネットワークは、画像空間への事前分布とクラス固有の活性化を強制することで、現実的な画像を生成するために利用できるか？
• RQ5 特徴可視化は、深層ネットワークにおける不変性と階層的構成をどの程度明らかにするのか？

主な発見

• 新規の正則化手法により、顔、目、車輪、毛布の模様などの学習済み特徴の可視化が、従来手法と比べてはるかに明確で解釈可能になった。
• より深い層（例：conv5）における特徴検出器は、顔、車輪、目といった特定の自然な部分に反応しており、表現にある程度の局所性があることが示唆された。
• 一部のニューロンは複数の物体部分に反応する（例：顔検出器が毛布の花にも反応する）ため、複雑で排他的でない特徴の相互作用が明らかになった。
• 可視化により、高層ではより複雑で多様なパターンが学習されていることが明らかになった。特に、最後の畳み込み層と最初の全結合層の間で多様性に顕著な飛躍が観察された。
• 単純な手動の事前分布でさえ、最適化された画像に長距離の空間的依存性（例：100ピクセル以上にわたる特徴を有する甲虫）を示しており、判別的モデルが生成的構造を暗黙に学習していることが示唆された。
• 結果から、強い学習済み事前分布を画像空間に組み合わせることで、判別的に学習されたネットワークが生成的モデリングに再利用可能である可能性が示唆された。