[論文レビュー] Multifaceted Feature Visualization: Uncovering the Different Types of Features Learned By Each Neuron in Deep Neural Networks

Anh Mai Nguyen, Jason Yosinski+1 more|arXiv (Cornell University)|Feb 11, 2016

Cell Image Analysis Techniques参考文献 22被引用数 168

ひとこと要約

tldr: 本論文は Multifaceted Feature Visualization (MFV) を紹介します。これは、各ニューロンの複数の側面を発見するために、ファセット固有の平均画像から最適化を初期化することで活性化最大化を行い、画像品質を向上させ、ニューロン表現の多様性を明らかにします。

ABSTRACT

We can better understand deep neural networks by identifying which features each of their neurons have learned to detect. To do so, researchers have created Deep Visualization techniques including activation maximization, which synthetically generates inputs (e.g. images) that maximally activate each neuron. A limitation of current techniques is that they assume each neuron detects only one type of feature, but we know that neurons can be multifaceted, in that they fire in response to many different types of features: for example, a grocery store class neuron must activate either for rows of produce or for a storefront. Previous activation maximization techniques constructed images without regard for the multiple different facets of a neuron, creating inappropriate mixes of colors, parts of objects, scales, orientations, etc. Here, we introduce an algorithm that explicitly uncovers the multiple facets of each neuron by producing a synthetic visualization of each of the types of images that activate a neuron. We also introduce regularization methods that produce state-of-the-art results in terms of the interpretability of images obtained by activation maximization. By separately synthesizing each type of image a neuron fires in response to, the visualizations have more appropriate colors and coherent global structure. Multifaceted feature visualization thus provides a clearer and more comprehensive description of the role of each neuron.

研究の動機と目的

• ニューロンは多面的で、さまざまな画像タイプに反応する可能性があることを理解する必要性を動機づける。
• ニューロンの複数の側面を可視化する方法を提案し、その役割をよりよく説明する。
• 活性化最大化の視覚表現の品質と解釈性を向上させる。
• 高次のニューロンは低次のニューロンよりも側面の多様性を示すことを実証する。
• 正則化とファセット固有の初期化が、視覚表現に一貫した全体構造をもたらすことを示す。

提案手法

• Multifaceted Feature Visualization (MFV) を導入して、ニューロンの複数の側面を可視化する。
• PCA、t-SNE、k-means を用いて、学習済み特徴空間でクラスの訓練セット画像をクラスタリングして、ファセットを特定する。
• 各ファセットのクラスタからの平均画像を用いて、ファセットごとに活性化最大化を初期化する。
• 中心バイアス正則化を適用して、視覚的に一貫した、中心に配置されたオブジェクトを生成する。
• MFV の可視化を従来の活性化最大化法と比較し、色のリアリズムと全体構造を強調する。

実験結果

リサーチクエスチョン

• RQ1 ディープニューラルネット(DNN)のニューロンは複数の異なる応答側面を持つのか、これらの側面は層ごとにどのように変化するのか？
• RQ2 ファセット毎の初期化と正則化は、活性化最大化画像の解釈性と現実感を改善できるか？
• RQ3 高次層のニューロンは、ファセットの多様性と物体構成において低次層のニューロンとどのように異なるか？

主な発見

• ニューロンは層を跨いで多面的な特徴検出器であり、上位層のニューロンはより多様な側面を示す。
• MFV は各ファセットを別々に可視化することで、より自然な色調と整合的な全体構造を備えた活性化最大化画像を生み出す。
• 中心バイアス正則化は繰り返しの断片を減らし、オブジェクトを中心化して、画像品質を向上させる。
• 隠れユニットの可視化は、conv3 からファセットの多様性が増加することを示し、全結合層はしばしば高次概念を組み合わせる。
• クラスのファセットは、現実世界の異なるサブタイプや視点に対応することがあり、豊かな内部表現を明らかにする。
• MFV は、合成画像の現実味と解釈可能性の点で従来の活性化最大化法を上回る。