[論文レビュー] How convolutional neural network see the world - A survey of convolutional neural network visualization methods

Zhuwei Qin, Funxun Yu+2 more|arXiv (Cornell University)|Apr 30, 2018

Anomaly Detection Techniques and Applications参考文献 47被引用数 48

ひとこと要約

CNNの可視化手法（Activation Maximization、DeconvNet、Network Inversion、Network Dissection）を包括的に概観し、CNNの内部と意味論を解釈する。動機、アルゴリズム、実験、適用についての議論を含む。

ABSTRACT

Nowadays, the Convolutional Neural Networks (CNNs) have achieved impressive performance on many computer vision related tasks, such as object detection, image recognition, image retrieval, etc. These achievements benefit from the CNNs outstanding capability to learn the input features with deep layers of neuron structures and iterative training process. However, these learned features are hard to identify and interpret from a human vision perspective, causing a lack of understanding of the CNNs internal working mechanism. To improve the CNN interpretability, the CNN visualization is well utilized as a qualitative analysis method, which translates the internal features into visually perceptible patterns. And many CNN visualization works have been proposed in the literature to interpret the CNN in perspectives of network structure, operation, and semantic concept. In this paper, we expect to provide a comprehensive survey of several representative CNN visualization methods, including Activation Maximization, Network Inversion, Deconvolutional Neural Networks (DeconvNet), and Network Dissection based visualization. These methods are presented in terms of motivations, algorithms, and experiment results. Based on these visualization methods, we also discuss their practical applications to demonstrate the significance of the CNN interpretability in areas of network design, optimization, security enhancement, etc.

研究の動機と目的

• CNNの可視化と解釈性の動機を明確にする。
• 代表的な4つの可視化手法とその核心的アイデアを要約する。
• 目標、アルゴリズム、観測結果の観点から手法を比較する。
• 設計、最適化、およびセキュリティにおけるCNN可視化の実用的な適用について議論する。

提案手法

• Activation Maximization (AM) を説明し、ニューロンの活性化を最大化する入力を合成するという目的。
• 正則化と Deep Generative Network Activation Maximization (DGN-AM) を含むAMの改良を説明。
• Deconvolutional Network (DeconvNet) の可視化と、フィーチャマップを入力空間へ戻すための層逆伝搬を提示。
• 層の活性化から入力を再構成する Network Inversion について議論。
• 多様なデータセットを用いてニューロンを意味的にラベル付けする Network Dissection を紹介。
• 学習された特徴を示すために CaffeNet/ImageNet などのアーキテクチャでの実験設定を要約。

実験結果

リサーチクエスチョン

• RQ1 CNNの個々のニューロンや層を活性化させる視覚的パターンは何か？
• RQ2 異なる可視化アプローチは、内部のCNN特徴を人間が解釈できるパターンや意味論とどのように関連付けるか？
• RQ3 どの正則化または生成技術が可視化の解釈可能性を改善するか？
• RQ4 可視化手法はCNNの設計、最適化、セキュリティにどのような実践的洞察を提供するか？

主な発見

• Activation Maximization は、エッジ、形状、物体などの階層的で解釈可能な特徴を明らかにし、深い层ほどパターンがより複雑になる。
• 正則化と生成的手法（DGN-AM）は、高次層での合成パターンの現実性と解釈可能性を向上させる。
• DeconvNet の可視化は、どの入力特徴が層を横断して特定のニューロンを刺激するかを示す、明示的な画像レベルのパターンを提供する。
• Network Inversion は、特徴マップから入力を再構成することにより、各層でどの入力情報が保持されているかを示す。
• Network Dissection は、ニューロンを意味論的にラベル付けし、オブジェクト、部品、材料、質感、色、シーンなどの事前定義された視覚概念とユニットを結びつける。
• 可視化は、CNNがしばしば局所化されたパターン特異的特徴と階層的特徴抽出を、視覚野に類似して学習することを示している。