[論文レビュー] Understanding Deep Image Representations by Inverting Them

Aravindh Mahendran, Andrea Vedaldi|arXiv (Cornell University)|Nov 26, 2014

Advanced Image and Video Retrieval Techniques参考文献 29被引用数 85

ひとこと要約

本稿では、自然画像の事前知識を用いて符号化された特徴量から画像を再構成することで、深層および浅層の画像表現を最適化ベースで逆方向に解釈する一般化された手法を提案する。本研究では、深層畳み込みニューラルネットワーク（CNN）の層を経るごとに、写真的で構造的な情報が顕著に保持されていることが明らかになった。層が進むにつれて、不変性と抽象化が増す一方で、局所的およびチャネル固有の特徴の意味論が維持されている。

ABSTRACT

Image representations, from SIFT and Bag of Visual Words to Convolutional Neural Networks (CNNs), are a crucial component of almost any image understanding system. Nevertheless, our understanding of them remains limited. In this paper we conduct a direct analysis of the visual information contained in representations by asking the following question: given an encoding of an image, to which extent is it possible to reconstruct the image itself? To answer this question we contribute a general framework to invert representations. We show that this method can invert representations such as HOG and SIFT more accurately than recent alternatives while being applicable to CNNs too. We then use this technique to study the inverse of recent state-of-the-art CNN image representations for the first time. Among our findings, we show that several layers in CNNs retain photographically accurate information about the image, with different degrees of geometric and photometric invariance.

研究の動機と目的

• 符号化された特徴量から画像を再構成することで、深層および浅層の画像表現にどのような視覚的情報が符号化されているかを直接分析すること。
• 手作業で設計された特徴量（例：HOG、SIFT）と深層CNNの両方に適用可能な汎用的な逆方向再構成フレームワークを開発すること。
• CNNの特徴表現における不変性と抽象化の度合いが、層ごとにどのように変化するかを調査すること。
• 空間的およびチャネル別に局所化された情報の性質を、選択的再構成を用いて調査すること。
• 異なる画像事前知識が、知覚的に意味のある再構成の質にどのように影響するかを評価すること。

提案手法

• 再構成誤差を最小化する勾配降下法を用いて、正則化回帰問題として表現の逆方向解釈を定式化する。
• 低レベルの統計を強制し、知覚的品質を向上させるために、$V^\beta$ノルムなどの自然画像事前知識を用いる。
• ランダムノイズから再構成を初期化し、バックプロパゲーションを用いて与えられた符号量から画像コンテンツを回復する。
• HOGおよびDSIFTを微分可能でニューラルネットワーク層として実装し、逆方向計算に必要な勾配をエンドツーエンドで得る。
• 忠実度と視覚的妥当性のバランスを取るために、層ごとの正則化パラメータ（$\lambda_1$, $\lambda_2$, $\lambda_3$）を適用する。
• ニューロンやチャネルのサブセットをマスクすることで選択的再構成を実行し、局所性およびモality固有の符号化を調査する。

実験結果

リサーチクエスチョン

• RQ1 深層および浅層の画像表現は、どれほど知覚的に意味のある画像に再構成可能か？
• RQ2 深層CNNの各層を経るごとに、表現の不変性はどのように変化するか？
• RQ3 異なるCNN層に、どのような視覚的情報（例：テクスチャ、形状、色）が保持されているか？
• RQ4 CNNの個々のニューロンやチャネルに符号化された特徴は、どれほど局所的か？
• RQ5 異なる画像事前知識は、再構成画像の質および解釈可能性にどのように影響するか？

主な発見

• 提案手法は、HOGおよびDSIFTの両方において、先行研究と比較して定量的・定性的に優れた再構成品質を達成した。
• CNNの初期畳み込み層は、歪みが最小限に抑えられた写真的で正確な表現を保持しており、情報保持度が非常に高いことが示された。
• より深い層（例：fc8）は、低次元の符号量に対しても、物体の粗い構造と部分のみを保持した抽象的なスケッチのような再構成を生成した。
• 同じ符号量から複数の再構成を生成した結果、ネットワークが層が深くなるにつれて不変性（特にスケールおよび位置の変化）を段階的に捉えていることが明らかになった。
• 空間的パッチからの選択的再構成では、ニューロンの有効受容野が理論的な最大値よりも小さいことが多く観察された。
• 独立したチャネルサブセットからの再構成では、あるグループが低周波数の色を、別のグループが高周波数の輝度を自然に符号化していることが明らかになった。