[論文レビュー] DeepView: View Synthesis with Learned Gradient Descent

John P. Flynn, Michael Broxton+6 more|arXiv (Cornell University)|Jun 18, 2019

Advanced Vision and Imaging参考文献 34被引用数 21

ひとこと要約

DeepViewは、スパarsな入力ビューから高品質なマルチプレーンイメージ（MPI）を再構築するための学習された勾配降下法を提案する。この手法により、オクルージョンの推論が向上し、最先端のビュー合成が実現される。勾配における可視性のモデリングにより、特にエッジ、反射、高深度複雑度領域で優れた結果が得られ、Kalantariライトフィールドデータセットおよび新しい公開データセットSpacesにおいて、先行手法を上回る性能を発揮する。

ABSTRACT

We present a novel approach to view synthesis using multiplane images (MPIs). Building on recent advances in learned gradient descent, our algorithm generates an MPI from a set of sparse camera viewpoints. The resulting method incorporates occlusion reasoning, improving performance on challenging scene features such as object boundaries, lighting reflections, thin structures, and scenes with high depth complexity. We show that our method achieves high-quality, state-of-the-art results on two datasets: the Kalantari light field dataset, and a new camera array dataset, Spaces, which we make publicly available.

研究の動機と目的

• スパarsなカメラの視点からマルチプレーンイメージ（MPI）を再構築する、不適切に定式化された逆問題に対処する。
• 物体の境界、反射、細い構造、高深度複雑度といった困難な状況におけるビュー合成品質を向上させる。
• MPI最適化における標準的勾配降下法の限界を克服し、シーンの事前知識を暗黙的に組み込むデータ駆動型の更新ルールを学習する。
• 学習および評価のための新しい大規模な実世界データセット、Spacesを導入する。
• 学習された勾配降下法が、最小限の反復回数で高品質かつリアルタイムレンダリング可能なMPIを生成できることを示す。

提案手法

• 反復的最適化プロセスにおいて、標準的勾配降下法の代わりに、深層ニューラルネットワークを用いて勾配更新ルールを学習する。
• 入力画像をCNNで処理して初期MPIを生成し、その後、数回の反復による学習された勾配降下法で精錬する。
• 入力ビューとMPIレイヤー間の可視性を勾配計算に明示的にモデル化することで、正確なオクルージョン推論を可能にする。
• 勾配の直感的な形式を、可視性に配慮した誤差信号として活用し、自然なシーンの多様体上に留まる表現を学習可能にする。
• 入力カメラ数の柔軟性を高めるために、入力ビューに沿ったマックスプーリングを用いる。これは、将来的に固定されたビュー数を超える一般化の可能性を示唆する。
• 入力ビューの測定値に対してMPIパラメータを最適化するため、微分可能レンダラを用いてエンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 学習された勾配降下法は、特に困難なシーン特徴（例：エッジ、反射、高深度複雑度）において、MPI再構築品質の向上に寄与するか？
• RQ2 可視性に配慮した勾配計算は、標準的勾配降下法と比較して、MPI最適化におけるオクルージョン推論をどのように向上させるか？
• RQ3 学習された更新ルールが、過学習や視覚的アーチファクトを低減するために、シーンの事前知識をどの程度暗黙的に符号化できるか？
• RQ4 本手法は、高深度複雑度、反射、細い構造を有する多様な実世界シーンに一般化可能か？
• RQ5 標準的および新規に導入されたベンチマークデータセットにおいて、DeepViewの性能は既存の最先端手法と比較してどの程度優れているか？

主な発見

• DeepViewは、Kalantariライトフィールドデータセットおよび新規公開データセットSpacesにおいて、最先端のビュー合成性能を達成した。
• 本手法は、鋭いエッジ、正確な反射、細い構造および複雑な葉っぱの配置の正しい処理を実現する高品質な結果を生成した。
• Soft3Dと比較して、DeepViewは特に高深度複雑度領域において、ぼやけやエッジアーチファクトを低減した。
• MPIにおける透過的なアルファ値を用いることで、拡散反射を再構築し、遠くの平面への可視性を許容した。
• MPIから導出された深度可視化は、物体の境界付近で高い正確性を示したが、滑らかな領域では明示的な深度の監視が欠落しているため、やや劣っていた。
• 4つの入力ビューに対して、P100 GPU上で約50秒で実行され、最適化されたMPIから新規ビューをリアルタイムでレンダリング可能であった。