[論文レビュー] Stanford-ORB: A Real-World 3D Object Inverse Rendering Benchmark

Zhengfei Kuang, Yunzhi Zhang+4 more|arXiv (Cornell University)|Oct 24, 2023

Advanced Vision and Imaging被引用数 6

ひとこと要約

Stanford-ORBは、14の物体を多様な自然シーンで撮影し、真値の3Dスキャン、マルチビュー画像、環境ライティングを備えた、3Dオブジェクト逆レンダリングのための最初の実世界ベンチマークを提供する。このベンチマークにより、幾何再構築、再ライティング、新規ビュー合成の包括的評価が可能となり、NVDiffRecMCが微分可能モンテカルロレンダラーとDMTetベースの形状表現を用いて、あらゆるタスクで最先端の性能を達成したことが明らかになった。

ABSTRACT

We introduce Stanford-ORB, a new real-world 3D Object inverse Rendering Benchmark. Recent advances in inverse rendering have enabled a wide range of real-world applications in 3D content generation, moving rapidly from research and commercial use cases to consumer devices. While the results continue to improve, there is no real-world benchmark that can quantitatively assess and compare the performance of various inverse rendering methods. Existing real-world datasets typically only consist of the shape and multi-view images of objects, which are not sufficient for evaluating the quality of material recovery and object relighting. Methods capable of recovering material and lighting often resort to synthetic data for quantitative evaluation, which on the other hand does not guarantee generalization to complex real-world environments. We introduce a new dataset of real-world objects captured under a variety of natural scenes with ground-truth 3D scans, multi-view images, and environment lighting. Using this dataset, we establish the first comprehensive real-world evaluation benchmark for object inverse rendering tasks from in-the-wild scenes, and compare the performance of various existing methods.

研究の動機と目的

• 複雑で自然な環境における逆レンダリング手法を評価するための実世界ベンチマークの不足に対処すること。
• 実世界データを用いて、素材回復、ライティング推定、3D再構築の定量的比較を可能にすること。
• 合成評価と実世界一般化の間のギャップを埋めること。
• 今後の3Dオブジェクト逆レンダリング分野における標準化されたベンチマークを提供すること。
• 7つの実世界のシーンにまたがる14の実物オブジェクトについて、真値の3Dスキャン、マルチビュー画像、環境ライティングを含むデータセットを公開すること。

提案手法

• 著者らは、7つの多様な実世界のシーンで14の実物オブジェクトを収集し、マルチビュー画像と高精度な3Dスキャンを取得した。
• 真値の環境ライティングはHDRパノラマ画像を用いて収集され、正確な再ライティング評価を可能にした。
• NVDiffRecMC手法では、素材とビュー合成の忠実度を向上させるために、微分可能モンテカルロ（MC）レンダラーが使用された。
• ベンチマークは、再ライティングおよび新規ビュー合成の評価に、PSNR-H、PSNR-L、SSIM、LPIPSなどの指標を用いて手法を評価した。
• SDFやNeRFベースの手法よりも幾何再構築を向上させるために、DMTetベースの形状表現が採用された。
• 素材予測品質の評価に、スタジオ撮影から導出された疑似真値アルベドマップが使用された。

実験結果

リサーチクエスチョン

• RQ1 既存の逆レンダリング手法は、合成ベンチマークと比較して、実世界の実地シーンでどの程度の性能を示すか？
• RQ2 モンテカルロレンダリングを含む微分可能レンダリング技術が、再ライティングおよびビュー合成品質に与える影響は何か？
• RQ3 真値の3Dスキャンと素材事前知識へのアクセスが、逆レンダリングタスクのパフォーマンスに与える影響は何か？
• RQ4 現在の手法は、複雑な実世界のライティングおよび素材効果にどの程度一般化できるか？
• RQ5 SDF、NeRF、DMTetのうち、どの形状表現が実世界設定において最も正確な幾何再構築を達成するか？

主な発見

• NVDiffRecMCは、あらゆるタスクで最高の全体的パフォーマンスを達成し、新規ビュー合成においてPSNR-Hが28.03、LPIPSが0.028を記録した。
• NVDiffRecMCは、前駆けのNVDiffRecおよび他のすべてのベースラインを上回り、再ライティングにおいてPSNR-Hが28.03、SSIMが0.982を達成した。
• IDRは、幾何再構築および新規ビュー合成の両方で最高のパフォーマンスを示し、NeRFおよび他のNeRFベースの手法を上回った。
• 真値の3Dスキャンおよび疑似素材情報（†マーク付き）にアクセスできる手法は、アクセスできない手法よりも顕著に優れており、依然として大きな性能ギャップが存在することが示された。
• 微分可能モンテカルロレンダラーの使用により、特に複雑なライティング環境下で、再ライティングおよびビュー合成の品質に顕著な向上が見られた。
• スタジオ撮影から導出された疑似真値マップを用いたアルベド予測品質の評価が最も適しており、NVDiffRecMCが最も正確な結果を示した。