[論文レビュー] Synthesizing the preferred inputs for neurons in neural networks via deep generator networks

Anh Son Nguyen, Alexey Dosovitskiy+3 more|arXiv (Cornell University)|May 30, 2016

Advanced Neural Network Applications参考文献 24被引用数 256

ひとこと要約

本論文は DGN-AM を提案します。深い画像生成器の事前情報を用いて DNN のニューロンを活性化最大化することで、現実的で解釈可能な視覚化を生成し、学習された特徴がアーキテクチャやデータセットを超えて明らかになります。

ABSTRACT

Deep neural networks (DNNs) have demonstrated state-of-the-art results on many pattern recognition tasks, especially vision classification problems. Understanding the inner workings of such computational brains is both fascinating basic science that is interesting in its own right - similar to why we study the human brain - and will enable researchers to further improve DNNs. One path to understanding how a neural network functions internally is to study what each of its neurons has learned to detect. One such method is called activation maximization (AM), which synthesizes an input (e.g. an image) that highly activates a neuron. Here we dramatically improve the qualitative state of the art of activation maximization by harnessing a powerful, learned prior: a deep generator network (DGN). The algorithm (1) generates qualitatively state-of-the-art synthetic images that look almost real, (2) reveals the features learned by each neuron in an interpretable way, (3) generalizes well to new datasets and somewhat well to different network architectures without requiring the prior to be relearned, and (4) can be considered as a high-quality generative method (in this case, by generating novel, creative, interesting, recognizable images).

研究の動機と目的

• DNN の個々のニューロンが検出するよう学習したものを、好適な入力を合成して解明する。
• 学習済みの自然画像 pri or を用いることで、priorAM 法より視覚化の現実性と解釈性を向上させる。
• 学習済み pri ors のデータセット間・アーキテクチャ間の一般化を実証し、限界を評価する。
• 方法がニューロン特有の特徴と prior によって誘発される構造をどのように反映するかを探り、より広い応用について議論する。

提案手法

• 固定エンコーダ(E) の中間特徴を反転させるよう訓練された深層画像生成ネットワーク(G) を用いて、強力な自然画像の事前情報を形成する。
• DGN 入力コード y においてターゲットニューロンの活性化を最大化するように最適化する: y^l^ = argmax_y^l (Phi_h(G_l(y^l)) - lambda*||y^l||) を行い、L2 正則化を適用する（lambda ≈ 0.005）。
• 各ニューロンごとに最適化されたコードを活性化範囲 [0, 3*sigma] にクリップして、prior を正則化し画像品質を向上させる。
• 異なるエンコーダ層から訓練された priors を比較し（l ∈ {3,5,6,7}）、最良の視覚化のためデフォルトとして fc6 ベースの G_6 を選択する。
• 同じ G_6 pri or を用いて、異なるデータセット（MIT Places、アクション認識）や異なるアーキテクチャ（GoogLeNet、ResNet）で訓練されたネットワークのニューロンを視覚化することで一般化を評価する。
• 合成視覚がトレーニングデータのクラスに類似しているか、深い特徴空間で最近傍チェックによって手法がトレーニング画像を記憶しているかを評価する。

実験結果

リサーチクエスチョン

• RQ1 深層生成器ネットワーク pri or が DNN のニューロンの状態依存的なビジュアリゼーションを質的に最先端に向上させることができるか？
• RQ2 学習済みの pri or が generator の再訓練なしにデータセット間・ネットワークアーキテクチャ間で一般化するか？
• RQ3 視覚化の品質は異なるアーキテクチャや隠れニューロンを視覚化するときにどう変化するか？
• RQ4 合成画像はニューロン特有の特徴を反映しているか、それとも主に prior を反映しているか？
• RQ5 DGN-AM のDNN解釈への適用範囲と制限は何か？

主な発見

• DGN-AM は、活性化されたニューロンに対して高度に現実的で解釈可能な画像を生成し、視覚化の品質で従来の activation 最大化手法を上回る。
• fc6 ベースの生成器 G_6 は、試行した層の中で最も良い視覚化を提供する（l ∈ {3,5,6,7} のうち）。
• ImageNet で訓練された pri or は、同じエンコーダーアーキテクチャのネットワークを視覚化する際に他の自然画像データセット（例: MIT Places）へ一般化し、アーキテクチャ差に応じて画像の鮮明さが変化する。
• 同じ DGN pri or を用いた場合、ターゲットネットワークのアーキテクチャが生成器を訓練したエンコーダと乖離すると視覚化の品質が劣化する（Phi と同一の E が最良）。
• DGN-AM は層をまたいだ隠れニューロンの視覚化にも適用可能で、他の視覚化手法と一致することが多く、より現実的な色・質感の視覚を生み出すことがある。
• 本手法は、マルチモーダルや非標準的なニューロン特徴にも有益であり、いくつかのニューロンは単一の標準的視覚情報を超える多様な特徴を学習することを示している。