[論文レビュー] Deep Feature Consistent Variational Autoencoder

Xianxu Hou, Linlin Shen+2 more|arXiv (Cornell University)|Oct 2, 2016

Face recognition and analysis参考文献 32被引用数 14

ひとこと要約

本論文では、従来のピxls単位の再構成損失に代わり、事前学習済み畳み込みニューラルネットワーク（CNN）からの深層特徴に基づく知覚的損失を用いることで、画像生成品質と意味的表現を著しく向上させる、Deep Feature Consistent Variational Autoencoder（DFC-VAE）を提案する。この手法は、学習された潜在ベクトルを用いて顔の属性予測で最先端の性能を達成する。

ABSTRACT

We present a novel method for constructing Variational Autoencoder (VAE). Instead of using pixel-by-pixel loss, we enforce deep feature consistency between the input and the output of a VAE, which ensures the VAE's output to preserve the spatial correlation characteristics of the input, thus leading the output to have a more natural visual appearance and better perceptual quality. Based on recent deep learning works such as style transfer, we employ a pre-trained deep convolutional neural network (CNN) and use its hidden features to define a feature perceptual loss for VAE training. Evaluated on the CelebA face dataset, we show that our model produces better results than other methods in the literature. We also show that our method can produce latent vectors that can capture the semantic information of face expressions and can be used to achieve state-of-the-art performance in facial attribute prediction.

研究の動機と目的

• 標準的なVAEで生じるぼんやりとした画像生成を是正する。これは、空間相関を保持できないピxls単位の再構成損失が原因である。
• 事前学習済みCNNから抽出した深層特徴表現の整合性を強制することで、VAEが生成する画像の知覚的品質を向上させる。
• 提案されたVAEの学習された潜在空間が、後続タスクに有用な意味的・概念的情報を捉え込んでいるかどうかを評価する。
• DFC-VAEから得られる潜在ベクトルを用いて、顔の属性予測で最先端の性能を達成する。

提案手法

• 標準的なピxls単位のL2再構成損失の代わりに、入力画像と再構成画像の高レベル特徴から計算される知覚的損失をVAEに導入する。例として、VGGNetなどの事前学習済みCNNを用いる。
• 事前学習済みCNNの複数の層からの特徴を用いて、マルチスケールの知覚的損失を計算し、空間相関の一貫性を強化する。
• 知覚的再構成損失とKLダイバージェンス正則化項の合計を最適化することで、VAEをエンドツーエンドで訓練する。
• エンコーダーネットワークから潜在ベクトルを抽出し、顔の属性予測などの後続分類タスクの入力特徴として用いる。
• 潜在ベクトルに線形SVM分類器を適用し、CelebAデータセット上で二値属性予測を実行する。
• 一貫性のある評価を実現するため、顔のランドマークの真値を用いて顔領域を切り出す。

実験結果

リサーチクエスチョン

• RQ1 ピxls単位の再構成損失を深層特徴に基づく知覚的損失に置き換えることで、VAEが生成する画像の視覚的品質と知覚的リアリズムが向上するか？
• RQ2 提案されたDFC-VAEモデルの潜在空間が、顔画像に関する意味的・概念的情報を意味的に捉え込んでいるか？
• RQ3 DFC-VAEから得られる潜在ベクトルは、他の特徴抽出手法と比較して顔の属性予測で最先端の性能を達成できるか？
• RQ4 ピxls単位の損失と比較して、深層CNN特徴に基づく知覚的損失は、空間相関と画像構造をどれほど効果的に保持できるか？

主な発見

• DFC-VAEモデルは、ピxls単位の損失を用いたベースラインVAEと比較して、よりシャープで視覚的に現実的な顔画像を生成する。
• VAE-345の潜在ベクトルを用いた顔の属性予測では88.73%の正確度を達成し、PANDA-l（85.43%）やVGG-FC（79.85%）を上回る。
• DFC-VAEの潜在空間は強力な概念的表現能力を示し、滑らかな補間と属性操作が可能である。
• 深層特徴に基づく知覚的損失は、空間相関を効果的に保持し、標準VAEで見られるぼやけを軽減することで画像品質を向上させる。
• 事前学習済みネットワークからの深層特徴が、VAE学習における強力なインダクティブバイアスとして機能することが示された。これにより、生成と表現学習の両方が向上する。