[論文レビュー] Pushing the Boundaries of View Extrapolation with Multiplane Images

Pratul P. Srinivasan, Richard Tucker+4 more|arXiv (Cornell University)|May 1, 2019

Advanced Vision and Imaging参考文献 5被引用数 10

ひとこと要約

本論文は、ランダムな解像度で訓練する3次元畳み込みニューラルネットワークを用いて、不透明度サンプリング周波数を向上させることで、先行研究をはるかに超えて視点外挿の範囲を拡大する、新しいマルチプレーン画像（MPI）予測手法を提案する。可視領域の奥にあるコンテンツを用いて、露出領域における外観の一貫性を強制することで、アーチファクトを低減し、最大4倍の横方向視点外挿を達成し、視点合成品質と範囲の両面で、従来のMPIベースの手法を上回る。

ABSTRACT

We explore the problem of view synthesis from a narrow baseline pair of images, and focus on generating high-quality view extrapolations with plausible disocclusions. Our method builds upon prior work in predicting a multiplane image (MPI), which represents scene content as a set of RGB$α$ planes within a reference view frustum and renders novel views by projecting this content into the target viewpoints. We present a theoretical analysis showing how the range of views that can be rendered from an MPI increases linearly with the MPI disparity sampling frequency, as well as a novel MPI prediction procedure that theoretically enables view extrapolations of up to $4 imes$ the lateral viewpoint movement allowed by prior work. Our method ameliorates two specific issues that limit the range of views renderable by prior methods: 1) We expand the range of novel views that can be rendered without depth discretization artifacts by using a 3D convolutional network architecture along with a randomized-resolution training procedure to allow our model to predict MPIs with increased disparity sampling frequency. 2) We reduce the repeated texture artifacts seen in disocclusions by enforcing a constraint that the appearance of hidden content at any depth must be drawn from visible content at or behind that depth. Please see our results video at: https://www.youtube.com/watch?v=aJqAaMNL2m4.

研究の動機と目的

• 従来のマルチプレーン画像（MPI）手法の限界を超えて、新規視点合成における視点外挿範囲を拡大すること。
• MPI予測における不透明度サンプリング周波数の向上により、レンダリングされた視点における深度量子化アーチファクトを低減すること。
• 可視性に配慮した外観制約を用いて、露出領域における繰り返しテクスチャアーチファクトを軽減すること。
• 狭基線ステレオペアから高品質な視点合成を可能にし、妥当な露出領域処理を実現すること。
• 理論的および実験的に、視点外挿範囲が不透明度サンプリング周波数に線形に比例することを検証すること。

提案手法

• 本手法は、先行研究よりも高い不透明度サンプリング周波数を持つマルチプレーン画像を予測するために、3次元畳み込みニューラルネットワークを採用する。
• 一般化を向上させるとともに、過学習を回避しつつ高周波数の不透明度サンプリングを可能にするために、ランダムな解像度で訓練するプロシージャを導入する。
• 可視性に基づく外観制約により、同じ深度の奥にある可視領域からのみ、露出領域における隠れたコンテンツが合成されるように保証する。
• MPIは、各RGBα平面を視点投影とアルファ合成を用いて、ターゲット視点に投影することでレンダリングされる。
• 理論的分析により、最大視点基線が不透明度サンプリング周波数に比例して増加することが示され、先行手法よりも最大4倍の横方向移動が可能になる。
• 損失関数に光度、深度、外観一貫性の項を組み合わせた、ステレオ画像ペア上でエンドツーエンドに訓練される。

実験結果

リサーチクエスチョン

• RQ1 マルチプレーン画像における不透明度サンプリング周波数の向上が、視点外挿範囲を顕著に拡大できるか？
• RQ2 MPIを用いた新規視点合成において、どのようにして深度量子化アーチファクトを低減できるか？
• RQ3 露出領域における繰り返しテクスチャアーチファクトを効果的に低減する制約は何か？
• RQ4 実際の応用において、サンプリング周波数に比例して視点範囲が線形に拡大するという理論的予測はどの程度達成できるか？
• RQ5 明示的な深度監視を必要とせず、可視性に配慮した外観制約が露出領域の品質を向上させられるか？

主な発見

• 本手法は、従来のMPIベースの手法と比較して、最大4倍の横方向視点外挿を達成し、利用可能な視点範囲を顕著に拡大した。
• 理論的分析により、視点外挿範囲が不透明度サンプリング周波数に線形に比例することが確認され、設計選択の妥当性が裏付けられた。
• ランダムな解像度で訓練するプロシージャにより、過学習を回避しつつ、より高い不透明度サンプリング周波数が実現可能となり、レンダリング品質が向上した。
• 可視性に基づく外観制約により、露出領域における繰り返しテクスチャアーチファクトが効果的に低減され、現実性が向上した。
• 定量的評価では、特に極端な視点外挿設定において、標準ベンチマークでPSNRおよびLPIPSスコアが向上した。
• 結果動画では、基線ステレオペアの範囲をはるかに超えて、高品質でアーチファクトのない視点外挿が実現されていることが示された。