[論文レビュー] DeepStereo: Learning to Predict New Views from the World's Imagery

John P. Flynn, Ivan Neulander+2 more|arXiv (Cornell University)|Jun 22, 2015

Advanced Vision and Imaging参考文献 30被引用数 86

ひとこと要約

本論文では、大規模な実世界の画像データを用いたエンド・トウ・トレーニングにより、撮影位置がわかっている画像から新しい視点を直接予測する深層学習フレームワーク、DeepStereoを提案する。色、深度、テクスチャの学習済み事前知識を活用することで、木や鏡面反射面など難しいシーンにおいても滑らかに劣化し、従来のIBR手法よりも視覚的に説得力のある結果を達成している。訓練に用いたデータは多様で非理想的であるが、それでも優れた性能を発揮している。

ABSTRACT

Deep networks have recently enjoyed enormous success when applied to recognition and classification problems in computer vision, but their use in graphics problems has been limited. In this work, we present a novel deep architecture that performs new view synthesis directly from pixels, trained from a large number of posed image sets. In contrast to traditional approaches which consist of multiple complex stages of processing, each of which require careful tuning and can fail in unexpected ways, our system is trained end-to-end. The pixels from neighboring views of a scene are presented to the network which then directly produces the pixels of the unseen view. The benefits of our approach include generality (we only require posed image sets and can easily apply our method to different domains), and high quality results on traditionally difficult scenes. We believe this is due to the end-to-end nature of our system which is able to plausibly generate pixels according to color, depth, and texture priors learnt automatically from the training data. To verify our method we show that it can convincingly reproduce known test views from nearby imagery. Additionally we show images rendered from novel viewpoints. To our knowledge, our work is the first to apply deep learning to the problem of new view synthesis from sets of real-world, natural imagery.

研究の動機と目的

• 実世界の自然な画像から深層学習を用いて新しい視点の合成を解決すること。
• 破綻やアーリアシングなどのアーチファクトに悩まされる従来のマルチステージ画像ベースレンダリング（IBR）手法の限界を克服すること。
• ステレオ、オクルージョン、深度の明示的モデリングなしに、入力視点から未観測視点のピクセルへと複雑な非線形写像をエンド・トウで学習できること。
• 入力として撮影位置がわかっている画像セットのみを用いて、屋内・屋外を含む多様なシーンに一般化できること。
• 動き、オクルージョン、テクスチャのない表面が存在する状況でも視覚的に説得力のある結果を生成できること。

提案手法

• モデルは、複数の撮影位置がわかっている入力画像を入力とし、新しいターゲット視点のピクセルカラーを直接回帰する完全畳み込みニューラルネットワークアーキテクチャを採用する。
• 入力画像は96個の深度平面に再投影され、ボリュメトリック表現が作成され、その後ネットワークで統合処理が行われる。
• 各入力画像に対して共有エンコーダータワーを設け、その後に複数の視点および深度層間の特徴を統合するファージョンモジュールが配置される。
• 予測値と真値のターゲット視点ピクセル間のピクセル単位L2損失を用いてエンド・トウで訓練が行われる。
• Googleストリートビューから得た大規模な実世界データを活用し、各画像をターゲット視点とし、残りの画像を入力として用いる。
• アーキテクチャは、データから深度、色の整合性、テクスチャの暗黙的事前知識を学習可能であり、頑健な一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 エンド・トウで訓練された深層ニューラルネットワークは、3D再構築やステレオモデリングを明示的に行わずに、複数の撮影位置がわかっている画像から新しい視点を直接合成できるか？
• RQ2 木やガラス、オクルージョンを含む複雑な幾何構造を持つシーンにおいて、従来のIBR手法と比較して、このモデルはどの程度一般化性能を示すか？
• RQ3 動き、鏡面反射、変動するカメラ基準点を伴う実世界データを処理しながらも、視覚的に説得力のある結果を維持できるか？
• RQ4 エンド・トウトレーニングにより、深度、色、テクスチャの有効な事前知識をネットワークが学習し、合成品質を向上させられるか？
• RQ5 従来の研究のテストセットとは異なる特性（例：ストリートビュー）を持つデータで学習した場合、モデルの性能はどのようになるか？

主な発見

• モデルは、広基準点間の補間でさえも、実写と見分けがつかない視覚的に説得力のある新しい視点を生成する。
• 訓練データが著しく異なる（Googleストリートビュー）が、[1]のデータセットにおいても競争力のある結果を達成している。
• 動きや鏡面反射はぼやけさせることで、従来のIBRでよく見られる破綻や繰り返しアーチファクトを回避する。
• 薄い前面構造物や部分的にオクルードされた物体は、しばしば過剰にぼやけたり消失したりするため、細部の保持に限界がある。
• カメラの動きが訓練時の仮定を上回った場合でも、モデルは滑らかに劣化し、シーンの動きがあっても視覚的整合性を保つ。
• 木などの自己オクルージョン構造物や複雑なテクスチャに対しても、明示的な幾何モデリングなしに一貫性のある結果を生成する。