[論文レビュー] Stereo Magnification: Learning View Synthesis using Multiplane Images

Tinghui Zhou, Richard Tucker+3 more|arXiv (Cornell University)|May 24, 2018

Advanced Vision and Imaging参考文献 5被引用数 140

ひとこと要約

本論文は Multiplane Image (MPI) 表現を学習し、狭いベースラインのステレオペアから新規ビューを合成する。YouTube動画データから学習した外挿視点合成を可能にする。MPIは学習後、複数の視点を効率的にレンダリングできる。

ABSTRACT

The view synthesis problem--generating novel views of a scene from known imagery--has garnered recent attention due in part to compelling applications in virtual and augmented reality. In this paper, we explore an intriguing scenario for view synthesis: extrapolating views from imagery captured by narrow-baseline stereo cameras, including VR cameras and now-widespread dual-lens camera phones. We call this problem stereo magnification, and propose a learning framework that leverages a new layered representation that we call multiplane images (MPIs). Our method also uses a massive new data source for learning view extrapolation: online videos on YouTube. Using data mined from such videos, we train a deep network that predicts an MPI from an input stereo image pair. This inferred MPI can then be used to synthesize a range of novel views of the scene, including views that extrapolate significantly beyond the input baseline. We show that our method compares favorably with several recent view synthesis methods, and demonstrate applications in magnifying narrow-baseline stereo images.

研究の動機と目的

• 狭いベースラインのステレオと入力ビューを超える外挿のためのビュー合成を動機づける。
• 複数のビューで再利用するため、一度予測できる新しいシーン表現（MPI）を提案する。
• 大規模なオンライン動画データを活用して、視点外挿のためのモデルを訓練する。
• ビュー合成品質の向上とステレオ基線の拡大能力を示す。
• 学習済みモデルが新しいデータセットに一般化できることと、効率的なレンダリングをサポートすることを示す。

提案手法

• Multiplane Images (MPIs) を導入する：前方平行な RGBa 平面の集まりで、各平面にアルファを持ち、ソフトオクルージョンと透明度を表現する。
• 入力はステレオペアとカメラパラメータであり、ネットワークのためにシーン幾何を符号化する平面掃引ボリュームを計算する。
• ネットワークは各平面のアルファマップ、グローバル背景画像、およびRGB値を組み立てるための各平面のブレンディングウェイトを出力する。
• 各平面へ逆射影を適用し、前から後ろへアルファ合成を行う、微分可能なパイプラインで新規ビューをレンダリングする。
• 合成ビューと地上真のターゲットを比較する、パーセプチュアル（VGGベース）の損失で訓練する。
• 大規模な YouTube の不動産動画データセットを用いて訓練用トリプレットを抽出し、ポーズの refinement とスケール正規化を実施する。

実験結果

リサーチクエスチョン

• RQ1 2ビューのステレオペアから学習したMPI表現は、高品質な外挿ビュー合成をサポートできるか？
• RQ2 単一の共有MPIを予測することは、多数の新規ビューをリアルタイムに効率的にレンダリングできるか？
• RQ3 大規模で現地のビデオデータを活用して、狭い基線を超える視点外挿のモデルを訓練できるか？
• RQ4 再訓練なしで、方法は異なるデータセットにどの程度一般化できるか？

主な発見

• MPI表現は、外挿を含む新規ビューをリアルタイムでレンダリングすることを、シーンごとに1回の予測で可能にする。
• 本手法は、Kalantari らの設定などのベースラインと比較して、保持データに対する数値的性能が向上する。
• 推定されたMPIは空間的に安定で、複数のビューに再利用可能であり、視点間で一貫したレンダリングをもたらす。
• 追加の訓練なしに他のデータセットへ一般化し、狭いステレオ基線の拡大にも効果的である。
• 大規模な YouTube ベースの訓練データセットは、多様なシーンで視点外挿を学習するための適切なデータを提供できる。