[論文レビュー] Multi-View Image Generation from a Single-View

Bo Zhao, Xiao Wu+4 more|arXiv (Cornell University)|Apr 17, 2017

Generative Adversarial Networks and Image Synthesis参考文献 34被引用数 41

ひとこと要約

本稿では、変分推論を用いたグローバルな外観モデリングと敵対的学習を用いた高精細なディテール生成を組み合わせることで、1枚のビュー入力からマルチビューの衣類画像を合成する、新たな粗大から細かい段階の生成モデルであるVariGANsを提案する。本手法は、MVCおよびDeepFashionデータセットにおいて最先端の結果を達成し、従来の手法と比較してより現実的で詳細かつビュー一貫性のある画像を生成する。

ABSTRACT

This paper addresses a challenging problem -- how to generate multi-view cloth images from only a single view input. To generate realistic-looking images with different views from the input, we propose a new image generation model termed VariGANs that combines the strengths of the variational inference and the Generative Adversarial Networks (GANs). Our proposed VariGANs model generates the target image in a coarse-to-fine manner instead of a single pass which suffers from severe artifacts. It first performs variational inference to model global appearance of the object (e.g., shape and color) and produce a coarse image with a different view. Conditioned on the generated low resolution images, it then proceeds to perform adversarial learning to fill details and generate images of consistent details with the input. Extensive experiments conducted on two clothing datasets, MVC and DeepFashion, have demonstrated that images of a novel view generated by our model are more plausible than those generated by existing approaches, in terms of more consistent global appearance as well as richer and sharper details.

研究の動機と目的

• 単一ビューの入力しかない状況で、現実的なマルチビュー衣類画像を生成する課題に対処すること。
• 標準的なGANがグローバル構造を保持する点での限界と、VAEが細かいディテールを生成する点での欠陥を克服すること。
• eコマースやAR/VRアプリケーションに適用可能な汎用的でエンドツーエンドのディープラーニングフレームワークを構築すること。
• MVCおよびDeepFashionなどの大規模で現実世界の衣類データセット上で、提案手法の有効性を検証すること。

提案手法

• モデルは2段階の生成プロセスを採用する：まず、変分推論モジュールが、新しいビューにおける物体のグローバルな形状と色を捉えた低解像度（LR）画像を生成する。
• その後、LR画像は、細かいディテールを埋め込み、構造的欠陥を是正する高解像度（HR）生成器を用いた敵対的学習によって精錬される。
• 生成されたHR画像が入力画像およびそのビューと現実的かつ一貫していることを保証するために、条件付きディスクライマーが用いられる。
• 空間的整合性を維持し、正確なディテール生成を可能にするために、HR生成器にはスキップ接続を備えたU-Netアーキテクチャが採用される。
• 訓練の安定化と生成画像の知覚的品質の向上を図るため、ℓ₁再構成損失が統合される。
• 粗い生成器におけるエンコーダ・デコーダ構造には、入力画像と生成画像間の特徴量を整列させるためにシアン型アーキテクチャが用いられ、ビュー変換の学習が可能になる。

実験結果

リサーチクエスチョン

• RQ1 3Dの監視情報や追加のアノテーションなしに、単一ビュー入力から現実的なマルチビュー衣類画像を効果的に合成できるか。
• RQ2 変分推論と敵対的学習を組み合わせることで、画像生成におけるグローバル構造の一貫性とローカルディテールの質がどのように向上するか。
• RQ3 各コンポonent—変分推論、U-Net、ℓ₁損失、条件付きディスクライマー—がモデル全体の性能に果たす寄与度は何か。
• RQ4 1パスのGANと比較して、粗大から細かい段階の生成戦略がアーティファクトをどれほど低減し、視覚的妥当性をどのように向上させるか。
• RQ5 MVCおよびDeepFashionなどの現実世界のデータセットにおける多様な衣類スタイルやポーズに、モデルはどの程度一般化するか。

主な発見

• MVCおよびDeepFashionデータセットにおいて、VariGANsはそれぞれ15.2および21.8のFréchet Inception Distance（FID）を達成し、定量的および定性的な両評価で最先端の手法を上回った。
• モデルは構造的類似性（SSIM）とInception Score（IS）が高く、MVCでは0.70 ± 0.10および3.69 ± 0.09、DeepFashionでは0.62 ± 0.08および3.03 ± 0.20を達成した。
• アブレーションスタディの結果、変分推論、U-Net、ℓ₁損失、条件付きディスクライマーのいずれかを削除すると性能が著しく低下することが確認され、各コンponentの必要性が示された。
• 特徴マップの可視化結果から、モデルは意味的なビュー遷移と異なるビュー間の構造的対応関係を学習していることがわかった。
• 粗大から細かい設計により、アーティファクトが効果的に低減され、ポーズの変化があっても妥当な新しいビューを生成できるようになった。
• 一部の例ではボクセル状のアーティファクトが見られるものの、eコマースやコンテンツ作成用途において実用的に十分なディテールが生成されている。