[論文レビュー] Virtual Rephotography: Novel View Prediction Error for 3D Reconstruction

Michael Waechter, Mate Beljan+4 more|arXiv (Cornell University)|Jan 26, 2016

Advanced Vision and Imaging参考文献 35被引用数 4

ひとこと要約

本稿では、3次元再構築のための視覚的品質評価を、真の幾何学的形状を必要とせずに実現する新しい評価フレームワーク「バーチャルリプロダクション」を提案する。再構築されたモデルから新たな視点をレンダリングし、その結果を実際の参照画像と、明度不変の指標（例：1-NCC）を用いて比較することで、幾何学的形状に依存しない一貫性のある評価が可能になる。この手法により、画像ベースレンダリングや粗いプロキシベースのシステムを含む多様な手法を統一的に評価でき、予測誤差と人間の視覚的品質評価との間に強い相関が確認された。

ABSTRACT

The ultimate goal of many image-based modeling systems is to render photo-realistic novel views of a scene without visible artifacts. Existing evaluation metrics and benchmarks focus mainly on the geometric accuracy of the reconstructed model, which is, however, a poor predictor of visual accuracy. Furthermore, using only geometric accuracy by itself does not allow evaluating systems that either lack a geometric scene representation or utilize coarse proxy geometry. Examples include light field or image-based rendering systems. We propose a unified evaluation approach based on novel view prediction error that is able to analyze the visual quality of any method that can render novel views from input images. One of the key advantages of this approach is that it does not require ground truth geometry. This dramatically simplifies the creation of test datasets and benchmarks. It also allows us to evaluate the quality of an unknown scene during the acquisition and reconstruction process, which is useful for acquisition planning. We evaluate our approach on a range of methods including standard geometry-plus-texture pipelines as well as image-based rendering techniques, compare it to existing geometry-based benchmarks, and demonstrate its utility for a range of use cases.

研究の動機と目的

• 3次元再構築ベンチマークが幾何学的正確性にのみ依存する中で、視覚的品質の評価が不足している問題に対処すること。
• 画像ベースレンダリングや光場システムなど、真の幾何学的形状を備えない手法の評価を可能にすること。
• MVS、IBR、テクスチャのみのパイプラインを含む多様な再構築パイプラインに適用可能な、統一的で実用的なベンチマークフレームワークを提供すること。
• 収集段階でのリアルタイムの品質フィードバックを提供し、収集計画や誤差の局所化を支援すること。
• 人間中心のレンダリング応用において、幾何学的誤差のみに依存する指標よりも、より人間の知覚に整合した指標を確立すること。

提案手法

• 入力画像の既知のカメラパラメータを用いて、再構築された3次元モデルから新たな視点をレンダリングする。
• 明度不変の指標（例：1-正規化相互相関（1-NCC））を用いて、レンダリングされた視点と実際の参照画像との間の予測誤差を計算する。
• 複数のテスト視点における誤差を集約し、各手法ごとにグローバルな視覚的品質スコアを生成する。
• 誤差マップを幾何学的モデルに投影することで、視覚的アーティファクトを局所化し、幾何学的誤差とテクスチャの問題を区別する。
• 複数の視点における誤差平均化により、遮蔽物や極端な照明を伴う困難なテスト画像に対する耐性を高める。
• MVS、IBR、テクスチャのみのパイプラインを含む多様な手法をサポートするベンチマークフレームワークを設計し、公平な比較のための非公開テストカメラを備える。

実験結果

リサーチクエスチョン

• RQ1 新規視点予測誤差指標は、視覚的品質の信頼できる幾何学的形状に依存しない代替指標として機能するか？
• RQ2 予測誤差は、幾何学的誤差と比較して、人間の視覚的品質評価とどの程度相関しているか？
• RQ3 本手法は、詳細な幾何学的形状を持たない画像ベースレンダリングや光場システムの評価が可能か？
• RQ4 収集段階で誤差指標を用いることで、データ収集を支援し、問題のあるシーン領域を特定できるか？
• RQ5 コミュニティフォトコレクションにおける視点の変動、遮蔽物、照明変化といった現実世界の課題に対して、本手法はどの程度の耐性を示すか？

主な発見

• 提案されたバーチャルリプロダクション手法は、予測誤差と人間の視覚的品質評価との間に強い相関を示し、視覚的忠実度を捉える上で幾何学的指標を上回ることを確認した。
• 本手法は、従来の幾何学ベースのベンチマークでは評価が困難な画像ベースレンダリングや粗いプロキシベースのシステムの評価に成功した。
• 誤差マップを幾何学的モデルに投影することで、テクスチャのアーティファクトや幾何学的不正確さを効果的に特定でき、的確なデバッグが可能になった。
• 誤差平均化と明度不変の指標を用いることで、本手法は困難なテスト画像に対して耐性を示したが、極めて多様なコミュニティフォトデータセットでは性能にばらつきが見られた。
• 本手法により、収集段階でのリアルタイムフィードバックが可能となり、次善の視点計画やユーザーの誘導を支援できるようになった。
• 著者らは、バーチャルリプロダクションに基づく統一されたベンチマークの実現可能性を示した。このアプローチは多様な再構築パイプラインをサポートし、コミュニティ間の評価を促進する。