[論文レビュー] Transformation-Grounded Image Generation Network for Novel 3D View Synthesis

Eunbyung Park, Shuicheng Yan+3 more|arXiv (Cornell University)|Mar 8, 2017

Advanced Vision and Imaging参考文献 44被引用数 36

ひとこと要約

本稿では、1枚の画像から新しい3Dビューを合成するための変換に基づく画像生成ネットワーク（TVSN）を提案する。画素単位のフローと可視性マップを明示的に予測することで、視点変換をモデル化し、欠損領域を想起させたり歪みを是正するためのリファインメントネットワークを条件づけることで、合成画像および実際の画像の両方で、リアリズム、詳細、3D再構築忠実度の面で最先端の結果を達成した。

ABSTRACT

We present a transformation-grounded image generation network for novel 3D view synthesis from a single image. Instead of taking a 'blank slate' approach, we first explicitly infer the parts of the geometry visible both in the input and novel views and then re-cast the remaining synthesis problem as image completion. Specifically, we both predict a flow to move the pixels from the input to the novel view along with a novel visibility map that helps deal with occulsion/disocculsion. Next, conditioned on those intermediate results, we hallucinate (infer) parts of the object invisible in the input image. In addition to the new network structure, training with a combination of adversarial and perceptual loss results in a reduction in common artifacts of novel view synthesis such as distortions and holes, while successfully generating high frequency details and preserving visual aspects of the input image. We evaluate our approach on a wide range of synthetic and real examples. Both qualitative and quantitative results show our method achieves significantly better results compared to existing methods.

研究の動機と目的

• 入力画像1枚からリアリスティックな新しい3Dビューを生成する課題に取り組み、特に奥行きの欠損（disocclusion）や欠落した幾何構造の処理を行う。
• 純粋な生成モデルや幾何ベースの手法の限界を克服するため、明示的な3D変換推論と画像補完を組み合わせる。
• 歪みや穴といったアーティファクトを低減させることで、視覚的品質を向上させる。
• 高解像度で詳細を保持する新しいビュー合成を実現し、後続の3D再構築タスクに適したものとする。
• ランダムな背景を含む合成データで学習することで、複雑なシーンに強い耐性を高めるために、実世界の画像へ汎用化を図る。

提案手法

• 入力から新しいビューへの画素単位の変換フローと可視性マップを予測する、奥行きの欠損に強い外観フロー網（DOAFN）を導入する。
• 予測されたフローと可視性マップを用いて、画像生成プロセスをガイドするマットド変換入力を生成する。
• 2段階のエンコーダデコーダアーキテクチャを採用する：最初にDOAFNで変換と可視性を予測し、次にリファインメントネットワークで画像補完を実行する。
• マットド変換を条件として画像生成器を設定し、見えない領域を想起させたり歪んだ領域を精緻化する。
• 視覚的リアリズムと詳細保持を向上させるために、VGG16を用いた知覚的損失と adversarial 損失を組み合わせた損失関数で学習する。
• 多視点ステレオ再構築を用いて3D整合性を評価し、生成されたビューからテクスチャ付き3Dメッシュを生成する。

実験結果

リサーチクエスチョン

• RQ1 明示的な3D視点変換のモデル化は、新しいビュー合成における画像生成品質を向上させ得るか？
• RQ2 可視性を考慮したフロー予測は、合成ビューにおける穴や歪みといったアーティファクトをどのように低減するか？
• RQ3 変換に基づく画像生成パイプラインは、高品質な3D再構築に適したビューをどれほど生成できるか？
• RQ4 複雑な背景や照明を有する実世界の画像に対しても、本手法は汎用性を示せるか？
• RQ5 adversarial 損失と知覚的損失を組み合わせることで、標準的な損失関数と比較して、より優れた詳細性とリアリズムが得られるか？

主な発見

• 3D ShapeNetデータセットにおいて、TVSNは先行手法と比較して優れた定性的な結果を達成し、より明確なテクスチャと整合性の取れた幾何構造を生成した。
• VGG16と adversarial 損失の組み合わせが最良の視覚的品質をもたらし、L1損失や特徴再構築ベースラインと比較して、歪みや穴が顕著に低減された。
• TVSNが生成したビューは、多視点ステレオ再構築により、AFNや他のベースラインと比較して高品質なテクスチャ付き3Dメッシュを生成した。
• Webから取得した実画像においても、TVSNは一貫性のある幾何構造と外観を有する信頼できる新しいビューを生成したが、照明や背景の一貫性は依然として課題であった。
• 入力に表示されない部分（例：後輪、ヘッドランプ）でさえも、学習された3D形状の事前知識に基づき、正常に合成できた。
• 本手法により、1枚の画像から360°のビュー合成が可能となり、再構築された3Dモデルはテクスチャと幾何的正確性の両面で向上を示した。