[論文レビュー] Inverting Convolutional Networks with Convolutional Networks.

Alexey Dosovitskiy, Thomas Brox|arXiv (Cornell University)|Jun 9, 2015

Generative Adversarial Networks and Image Synthesis参考文献 20被引用数 77

ひとこと要約

この論文では、畳み込みニューラルネットワーク（CNN）の特徴量を転置（アップコンボリューション）ネットワークを用いて逆方向に変換することで、特徴表現から画像を再構成する手法を提案している。実験の結果、ImageNetで学習されたネットワークからの深層特徴量に加え、浅層特徴量（HOG, SIFT, LBP）に対しても、高い忠実度で再構成が可能であり、高レベルの活性化や分類確率からでさえ、豊富な構造的および色の情報が回復されることを示している。

ABSTRACT

Feature representations, both hand-designed and learned ones, are often hard to analyze and interpret, even when they are extracted from visual data. We propose a new approach to study image representations by inverting them with an up-convolutional neural network. We apply the method to shallow representations (HOG, SIFT, LBP), as well as to deep networks. For shallow representations our approach provides significantly better reconstructions than existing methods, revealing that there is surprisingly rich information contained in these features. Inverting a deep network trained on ImageNet provides several insights into the properties of the feature representation learned by the network. Most strikingly, the colors and the rough contours of an image can be reconstructed from activations in higher network layers and even from the predicted class probabilities.

研究の動機と目的

• 学習済みの視覚的特徴量や手作業で作成された特徴量から画像を再構成する手法を開発し、解釈可能性を向上させること。
• 浅層ネットワークおよび深層ネットワークからの特徴表現に、どの程度の構造的および意味的情報が保持されているかを調査すること。
• 深層特徴量をピクセル空間に再構成することで、その表現能力を分析すること。
• 分類確率のみで画像再構成が可能かどうかを評価すること。
• 統一された逆方向変換フレームワークを用いて、異なる種類の特徴量の再構成品質を比較すること。

提案手法

• 本手法は、特徴マップをピクセル空間に逆方向に変換するために、転置畳み込みニューラルネットワーク（デコンボリューションネットワーク）を用いる。
• デコンボリューションネットワークは、元の入力画像と再構成画像の間の再構成損失を最小化するように、エンド・ツー・エンドで学習される。
• アーキテクチャは、エンコーダー・ネットワーク（例：VGG や AlexNet）を対称的かつデコンボリューション形式に再現することで、空間的詳細を再構成する。
• 本手法は、浅層特徴量（HOG, SIFT, LBP）および事前学習済み ImageNet ネットワークからの深層特徴量に適用可能である。
• 深層特徴量の場合、高層の活性化や、最終的な分類確率に対しても再構成が行われる。
• 学習プロセスでは、再構成品質を最適化するためにピクセル単位のL2損失が使用される。

実験結果

リサーチクエスチョン

• RQ1 転置CNNは、HOG, SIFT, LBPのような浅層視覚特徴量から画像を効果的に再構成できるか？
• RQ2 深層ネットワークの高レベル特徴量は、どの程度空間的および色の情報を保持しているか？
• RQ3 深層ネットワークの予測された分類確率のみで画像再構成が可能か？
• RQ4 深層ネットワークの異なる層における再構成品質は、どのように変化するか？
• RQ5 特徴抽出の逆プロセスを可視化することで、特徴表現に関するどのような知見が得られるか？

主な発見

• 提案手法は、既存の逆方向変換技術と比較して、浅層特徴量（HOG, SIFT, LBP）の再構成品質を顕著に向上させた。
• 深い層の高レベル特徴量からでさえ、元の画像の粗い輪郭や色構造が再構成された。
• 驚くべきことに、ImageNet分類器の最終的な分類確率のみからでも、粗い色と輪郭情報が再構成可能である。
• 深層特徴量からの再構成結果から、ネットワークが階層的かつ意味的に意味のある表現を学習しており、強い空間的整合性を持つことが明らかになった。
• 結果から、深層特徴量が高レベル表現であるにもかかわらず、顕著な画像構造を保持していることが示され、高レベル表現における情報損失の仮定に疑問を呈するものとなった。
• 逆方向プロセスの可視化により、特徴空間の解釈可能性が向上し、特徴量が実際に何をエンコードしているかを分析できるようになった。