[論文レビュー] Local Light Field Fusion: Practical View Synthesis with Prescriptive Sampling Guidelines

Ben Mildenhall, Pratul P. Srinivasan+5 more|arXiv (Cornell University)|May 2, 2019

Advanced Vision and Imaging参考文献 48被引用数 107

ひとこと要約

各入力ビューを multiplane images (MPI) を用いて局所的なライトフィールドへ拡張し、隣接する MPI をブレンドして新規ビューを合成します。Nyquist 品質の結果を、入力ビューを最大で 4000× 減らして得られる指示的サンプリングガイドラインを提供します。

ABSTRACT

We present a practical and robust deep learning solution for capturing and rendering novel views of complex real world scenes for virtual exploration. Previous approaches either require intractably dense view sampling or provide little to no guidance for how users should sample views of a scene to reliably render high-quality novel views. Instead, we propose an algorithm for view synthesis from an irregular grid of sampled views that first expands each sampled view into a local light field via a multiplane image (MPI) scene representation, then renders novel views by blending adjacent local light fields. We extend traditional plenoptic sampling theory to derive a bound that specifies precisely how densely users should sample views of a given scene when using our algorithm. In practice, we apply this bound to capture and render views of real world scenes that achieve the perceptual quality of Nyquist rate view sampling while using up to 4000x fewer views. We demonstrate our approach's practicality with an augmented reality smartphone app that guides users to capture input images of a scene and viewers that enable realtime virtual exploration on desktop and mobile platforms.

研究の動機と目的

• 拡張 plenoptic sampling theory を用いて reliability の高い高品質ビュー合成のための入力ビューサンプリング密度を規定する。
• MPIs を用いて不規則なビューグリッドを局所的なライトフィールドへ展開し、それを連続的なビュー再構成のためにブレンドする実践的なパイプラインを開発する。
• 深層学習が小さな近傍のビューから MPI を予測でき、最先端の結果を達成できることを示す。
• AR アプリやモバイル・デスクトッププラットフォームでリアルタイムレンダリングを通じて方法を実証する。

提案手法

• 3D CNN を用いて D 深度平面を持つ各サンプルビューを局所的な MPI に昇格させ、入力サンプリング率に応じて D を適応させる。
• RGB-Alpha MPI 平面を後ろから前へアルファブレンディングし、隣接する MPI からのレンダリングをブレンドして新規ビューをレンダリングする。
• Occlusion に対処するために各レイヤの不透明度を予測し、アルファを意識したブレンディング（Equation 8）を用いることで plenoptic sampling を拡張する。
• Occlusion の下で必要なビュー密度を D 倍（2 つの視線方向の場合は D^2）まで低減するサンプリング境界を導出する（Equations 4–6, 7）。
• 合成データ（SUNCG、UnrealCV）と実世界のハンドヘルドデータを用いて、画像再構成損失や知覚損失で教師付けし、効率のために段階的なトレーニングを行う。

実験結果

リサーチクエスチョン

• RQ1 局所ライトフィールド融合で高品質な新規ビューを信頼性高くレンダリングするには、入力ビューをどれだけ密にキャプチャする必要があるか。
• RQ2 少数かつ不規則なビュー集合から MPI を深層ネットワークが予測でき、複数の新規視点間で一貫性を保てるか。
• RQ3 MPI 深度平面数 D はビュー合成品質と必要なサンプリング密度にどう影響するか。
• RQ4 複数の MPI のアルファ意識ブレンディングは、単一 MPI アプローチと比べて遮蔽や非Lambertian 効果の取り扱いを改善するか。
• RQ5 実時間の AR/VR アプリで入力ビューを大幅に減らして Nyquist レベルの知覚品質を達成できるか。

主な発見

• 本手法は Nyquist sampling に相当する知覚品質を、入力ビューを最大で約 4000× fewer（例：64^2 ビュー）で達成できる（64 MPI 平面を使用時）。
• 各ビューを D 平面の MPI に昇格させると、遮蔽下で必要なカメラサンプリング間隔を D 倍（2 視線方向では D^2）まで低減できる。
• 複数の MPI レンダリングをアルファ意識ブレンディングすることで、単純平均や単一 MPI レンダリングよりも忠実度が高く、アーティファクトが少なくなる。
• 3D CNN は入力サンプリング率に応じて深度平面数を適応でき、柔軟でスケール認識のあるビュー合成を実現する。
• このパイプラインはデスクトップとモバイルのリアルタイムレンダリングをサポートし、合成データと実世界のハンドヘルドデータの両方で検証されている。