[論文レビュー] Geometry-aware Deep Network for Single-Image Novel View Synthesis

Miaomiao Liu, Xuming He+1 more|arXiv (Cornell University)|Apr 17, 2018

Advanced Vision and Imaging参考文献 23被引用数 14

ひとこと要約

本論文は、固定数の平面を用いてシーンをモデル化し、入力画像を歪ませるためのホモグラフィーと領域マスクを予測し、学習された選択マップを用いて歪んだビューを統合する、幾何学的注意をもつ深層ネットワークを提案する。この手法は、3次元幾何的整合性を明示的に強制することで、KITTIおよびScanNetデータセットにおいて、外観中心の最先端手法を上回り、より現実的で構造的に正確な新規ビューを生成する。

ABSTRACT

This paper tackles the problem of novel view synthesis from a single image. In particular, we target real-world scenes with rich geometric structure, a challenging task due to the large appearance variations of such scenes and the lack of simple 3D models to represent them. Modern, learning-based approaches mostly focus on appearance to synthesize novel views and thus tend to generate predictions that are inconsistent with the underlying scene structure. By contrast, in this paper, we propose to exploit the 3D geometry of the scene to synthesize a novel view. Specifically, we approximate a real-world scene by a fixed number of planes, and learn to predict a set of homographies and their corresponding region masks to transform the input image into a novel view. To this end, we develop a new region-aware geometric transform network that performs these multiple tasks in a common framework. Our results on the outdoor KITTI and the indoor ScanNet datasets demonstrate the effectiveness of our network in generating high quality synthetic views that respect the scene geometry, thus outperforming the state-of-the-art methods.

研究の動機と目的

• 複雑な現実世界のシーンに富んだ幾何的構造を有する単一画像からの新規ビュー合成の課題に対処すること。
• 外観のみに依存する学習手法が生じる幾何的整合性の欠如したアーチファクトを克服すること。
• 固定数の平面的領域を用いて3次元シーンの幾何を明示的にモデル化することで、ビュー合成の品質を向上させること。
• ホモグラフィー、領域マスク、および学習された選択マップを用いて歪んだビューを統合する統合的深層学習フレームワークの構築。

提案手法

• 3次元シーンを固定数の平面的領域で近似し、各領域に対して予測された深度マップと法線マップ、および相対的なカメラポーズから導かれるホモグラフィーを関連付ける。
• 2ストリームの深層ネットワークを用いる：一方のブランチは入力画像からピクセル単位の深度と法線を推定し、もう一方は各平面的領域ごとの選択マップを予測する。
• 予測されたホモグラフィーを用いて入力画像をホモグラフィーに基づいて歪め、各平面的領域ごとに複数の候補となる歪んだビューを生成する。
• 予測された選択マップを用いて歪んだビューを統合するが、選択マップ自体も同じホモグラフィーにより歪められ、空間的一致性を保証する。
• スキップ接続を備えたエンコーダ・デコーダネットワークを用いて最終的な合成ビューを精錬し、ぼやけた部分や欠損ピクセルを補正する。
• 幾何的制約をフローパターンの予測プロセスに統合する、領域に注意を向ける幾何変換ネットワークを活用し、構造的一致性を確保する。

実験結果

リサーチクエスチョン

• RQ1 3次元シーンの幾何を明示的にモデル化することで、単一画像から合成された新規ビューの現実性と構造的一致性が向上するか？
• RQ2 エンドツーエンドの外観フローと比較して、領域固有のホモグラフィーと選択マップを学習することは、幾何的忠実度においてどのように異なるか？
• RQ3 予測された深度マップと法線マップの品質が、幾何に注意を向ける合成フレームワークの性能にどの程度影響を与えるか？
• RQ4 ハードセグメンテーションや固定マスクと比較して、学習可能な選択マップメカニズムは複数の歪んだビューの統合をどのように改善するか？
• RQ5 幾何的事前知識を組み込むことで、局所構造の歪みや一貫性のない物体形状といったアーチファクトが減少するか？

主な発見

• 提案手法は、KITTIおよびScanNetデータセットの両方で[29]の最先端の外観フロー手法を上回り、優れた幾何的整合性と視覚的品質を示した。
• KITTIでは、推定された深度と法線を用い、学習された選択マップを適用した場合のL1誤差が0.329であり、真値の深度と法線を用い、学習された選択マップを適用しない場合の0.357より低かった。
• 定性的な結果から、本手法は特に建物の外壁や木の領域など、物体の形状やシーン構造を保つ点でより現実的なビューを生成することが示された。
• 精錬ネットワークは定量的精度をわずかに低下させるが、視覚的リアリズムを向上させるため、メトリック忠実度と知覚的品質の間にはトレードオフがあることが示された。
• アブレーションスタディにより、選択マップの学習が極めて重要であることが確認された。真値の深度と法線を用い、学習されたマップを適用した場合が最高の性能を示し、適応的統合の重要性が浮き彫りになった。
• 選択ネットワークは、視覚化結果から示されるように、木の全体や建物の外壁など、より大きな意味的整合性を持つ平面的領域へとシード領域を効果的に拡張できた。