[論文レビュー] Attribute2Image: Conditional Image Generation from Visual Attributes

Xinchen Yan, Shuicheng Yan+2 more|arXiv (Cornell University)|Dec 2, 2015

Generative Adversarial Networks and Image Synthesis参考文献 54被引用数 95

ひとこと要約

本論文では、前景と背景の潜在変数を分離する階層的生成モデルを備えた条件付き変分オートエンコーダー、Attribute2Imageを提案する。この手法により、視覚的属性から多様で現実的な画像を生成できる。画像生成を形状に配慮したブレンドを伴う前景・背景の合成としてモデル化することで、属性条件付き画像生成、再構築、補完において最先端の結果を達成し、属性類似性とサンプル品質の定量的向上を実現した。

ABSTRACT

This paper investigates a novel problem of generating images from visual attributes. We model the image as a composite of foreground and background and develop a layered generative model with disentangled latent variables that can be learned end-to-end using a variational auto-encoder. We experiment with natural images of faces and birds and demonstrate that the proposed models are capable of generating realistic and diverse samples with disentangled latent representations. We use a general energy minimization algorithm for posterior inference of latent variables given novel images. Therefore, the learned generative models show excellent quantitative and visual results in the tasks of attribute-conditioned image reconstruction and completion.

研究の動機と目的

• 性別、年齢、表情、髪の色といった高レベルの視覚的属性を条件として、現実的で多様な画像を生成する課題に対処すること。
• 前景オブジェクトと背景を分離した潜在要因を用いた階層的合成として画像をモデル化することで、画像生成品質を向上させること。
• 一般化された最適化ベースの手法を用いて、画像再構築や補完などのタスクにおける新規画像の事後分布推論を可能にすること。
• 分離された潜在表現が、条件付き画像生成における属性制御とサンプル多様性を向上させることを示すこと。

提案手法

• モデルは、前景および背景の潜在変数のための別個のエンコーダーとデコーダーを備えた条件付き変分オートエンコーダー（CVAE）を用い、再パラメータライゼーションのテクニックを用いたバックプロパゲーションによるエンドツーエンド学習を可能にする。
• 前景と背景は別々に生成される：前景は属性と潜在コードに条件付けられ、背景は自身の潜在コードから生成され、形状マップが背景の可視性を制御する。
• 画像の合成は、前景レイヤーとゲート付き背景レイヤーの和として実現され、ゲートは前景の形状マップによって決定される。
• 事後分布推論には一般化されたエネルギー最小化アルゴリズムが用いられ、観測された画像パッチに基づいて潜在変数を最適化することで、再構築と補完が可能になる。
• モデルは、共有された属性ストリームと、前景および背景のための別個のエンコーダー/デコーダーネットワークを備えた分離されたCVAE（disCVAE）アーキテクチャを採用し、畳み込み層および全結合層を用い、スキップ接続を組み込む。
• 学習目的は、事後分布近似のためのKLダイバージェンス項と、画像および形状マップ予測の再構築損失を含む変分下界である。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルは、前景および背景要因の分離表現を維持したまま、視覚的属性を条件として現実的で多様な画像を生成できるか？
• RQ2 学習済み事前分布を用いた事後分布推論により、部分的観測からの再構築や補完がどの程度うまくいくか？
• RQ3 前景と背景を別々のレイヤーとして明示的にモデル化することで、統合的モデリングに比べて画像生成品質が向上するか？
• RQ4 モデル内の分離された潜在変数が、性別、年齢、表情といった意味的な属性をどの程度適切に反映しているか？
• RQ5 提案された最適化ベースの事後分布推論手法は、ベースラインと比較して画像再構築および属性精度の面で優れているか？

主な発見

• disCVAEモデルは属性空間におけるコサイン類似度が0.9057に達し、最近傍探索（0.8719）およびぼやけた最近傍探索（0.8291）のベースラインを顕著に上回った。
• 生成されたサンプルにおける予測属性の平均二乗誤差（MSE）は16.71であり、最近傍探索ベースライン（21.88）よりも低く、より優れた属性忠実度を示した。
• モデルは属性に条件付けられた多様で現実的なサンプルを生成でき、定性的な結果から高い視覚的忠実度と正確な属性整合性が確認された。
• 最適化による事後分布推論により、画像再構築および補完が効果的に実現され、部分的観測に対するモデルの頑健性が示された。
• 分離された潜在空間により、生成されたレイヤーの可視分析から、前景および背景要因の意味的な分離が実現されていることが確認された。
• アブレーションスタディにより、統合的モデリングに比べ、明示的な前景・背景モデリングが属性精度およびサンプル品質の向上に寄与することが確認された。