[論文レビュー] RTMV: A Ray-Traced Multi-View Synthetic Dataset for Novel View Synthesis

Jonathan Tremblay, Moustafa Meshry+10 more|arXiv (Cornell University)|May 14, 2022

Advanced Vision and Imaging被引用数 10

ひとこと要約

本論文は、約300万枚の高解像度（1600×1600）画像を含む大規模なレイトレーシング合成データセットRTMVを紹介する。これらは約2000の複雑なシーンから得られ、新規視点合成の包括的ベンチマークを可能にする。データセットのスケールに対応するため、本研究ではスパースボクセルライトフィールド（SVLF）を提案する。SVLFは、スパースボクセルオクトリー、最小限のネットワークアーキテクチャ、および真値深度の教師信号を用いることで、NeRFクラスの品質を達成しながら、学習が10倍速く、レンダリングが100倍速くなる高速で効率的な手法である。

ABSTRACT

We present a large-scale synthetic dataset for novel view synthesis consisting of ~300k images rendered from nearly 2000 complex scenes using high-quality ray tracing at high resolution (1600 x 1600 pixels). The dataset is orders of magnitude larger than existing synthetic datasets for novel view synthesis, thus providing a large unified benchmark for both training and evaluation. Using 4 distinct sources of high-quality 3D meshes, the scenes of our dataset exhibit challenging variations in camera views, lighting, shape, materials, and textures. Because our dataset is too large for existing methods to process, we propose Sparse Voxel Light Field (SVLF), an efficient voxel-based light field approach for novel view synthesis that achieves comparable performance to NeRF on synthetic data, while being an order of magnitude faster to train and two orders of magnitude faster to render. SVLF achieves this speed by relying on a sparse voxel octree, careful voxel sampling (requiring only a handful of queries per ray), and reduced network structure; as well as ground truth depth maps at training time. Our dataset is generated by NViSII, a Python-based ray tracing renderer, which is designed to be simple for non-experts to use and share, flexible and powerful through its use of scripting, and able to create high-quality and physically-based rendered images. Experiments with a subset of our dataset allow us to compare standard methods like NeRF and mip-NeRF for single-scene modeling, and pixelNeRF for category-level modeling, pointing toward the need for future improvements in this area.

研究の動機と目的

• 新規視点合成アルゴリズムのベンチマークに用いるための大規模で高忠実度の合成データセットの不足に対処する。
• 複雑な素材、照明、カメラポーズ、複数オブジェクト構成を有する多様なシーンでの手法の評価を可能にする。
• 従来の手法では処理が計算的に非現実的であるデータセット全体の処理を、高度に効率的な代替手法を導入することで克服する。
• 豊富なメタデータとスケーラブルなデータを活用し、少数のビューからの学習、3次元再構築、深度感知レンダリング分野の研究を促進する。
• 大規模で多様なベンチマーク上で現在の最先端手法の限界を示し、今後のアルゴリズム改善の方向性を示唆する。

提案手法

• RTMVは、PythonベースのレイトレーサーNViSIIを用いて生成され、1600×1600解像度で物理的に妥当でノイズのない画像が得られる。
• データセットは、4つの異なる3Dメッシュコレクションから得られた約2000のシーンを含み、幾何学的形状、素材、テクスチャ、照明の多様性を確保している。
• カメラポーズは半球上または環境内に自由に配置されており、自由視点レンダリングや挑戦的なカメラ移動を可能にしている。
• SVLFは、メモリと計算量を削減するためスパースボクセルオクトリー表現を採用し、1本の光線あたり少数のボクセルを照会する。
• 特徴の連続性を確保するため、共有デコーダと三線形補間を用いた軽量なニューラルネットワークを採用し、モデルの複雑さを低減している。
• 訓練中に真値深度マップを用いて光学的厚さと表面ヒット推定をガイドすることで、訓練の安定性と効率性が向上している。

実験結果

リサーチクエスチョン

• RQ1 既存の新規視点合成手法は、複雑なシーンと自由なカメラ移動を有する大規模で多様な高忠実度の合成データセットに一般化可能か？
• RQ2 NeRF や mip-NeRF などの現在の手法が大規模データセットにスケーリングされた際の計算的・性能的ボトルネックは何か？
• RQ3 スパースボクセルベースのライトフィールドアプローチは、学習時間と推論時間を著しく短縮しつつ、NeRFクラスの品質をどの程度達成できるか？
• RQ4 視点依存効果、半透明素材、ボクセル境界アーチファクトは、ボクセルベース手法のレンダリング品質にどのように影響を与えるか？
• RQ5 合成データセットに豊富なメタデータを含めることで、少数のビューからの学習や深度監視学習のような新しい学習パラダイムが可能になるか？

主な発見

• RTMVは、素材、照明、カメラポーズが多様な約2000の複雑な複数オブジェクトシーンから、約300万枚の高解像度（1600×1600）画像を含む。
• SVLFはRTMVベンチマーク上でNeRFと同等の新規視点合成性能を達成しており、学習が10倍速く、レンダリングが100倍速い。
• ネットワークの複雑さを低減し、真値深度マップを活用することで、訓練の効率性が向上し、アーチファクトが減少している。
• カメラがシーンに非常に近い場合、明確なボクセル境界アーチファクトが観察され、高倍率レンダリングにおける限界が示されている。
• 光学的厚さの最適でない訓練は、赤い靴のような複雑な領域で、しばしばフロートラーや穴が生じる。
• ネットワークアーキテクチャに明示的な視点方向入力を含めないため、スペキュラーなハイライトのような視点依存効果の処理に苦労している。