[論文レビュー] A Learned Radiance-Field Representation for Complex Luminaires

Jorge Condor, Adrián Jarabo|arXiv (Cornell University)|Jan 1, 2022

Advanced Vision and Imaging被引用数 2

ひとこと要約

本稿では、神経放射場（NeRF）を用いて高動的範囲、高周波数、ゼロ発光領域を有する複雑な照明器具の放射場を学習的に表現し、それを効率的な統合が可能なプレノクトリーに蒸留する手法を提案する。この手法により、パストレーシングと比較して最大100倍の高速化を達成し、誤差は最小限に抑えられ、計算コストを低減しつつ、複雑な照明器具の高精細レンダリングを実現する。

ABSTRACT

We propose an efficient method for rendering complex luminaires using a high-quality octree-based representation of the luminaire emission. Complex luminaires are a particularly challenging problem in rendering, due to their caustic light paths inside the luminaire. We reduce the geometric complexity of luminaires by using a simple proxy geometry and encode the visually-complex emitted light field by using a neural radiance field. We tackle the multiple challenges of using NeRFs for representing luminaires, including their high dynamic range, high-frequency content and null-emission areas, by proposing a specialized loss function. For rendering, we distill our luminaires' NeRF into a Plenoctree, which we can be easily integrated into traditional rendering systems. Our approach allows for speed-ups of up to 2 orders of magnitude in scenes containing complex luminaires introducing minimal error.

研究の動機と目的

• コーシック光路と高い幾何的複雑性を有する複雑な照明器具のレンダリングという課題に対処すること。
• 従来の光源近似法（例：面光源や遠方光源）の限界を克服し、建築可視化におけるリアリズムを損なわないこと。
• 高動的範囲、透過性、ゼロ発光領域を有する照明器具の効率的で高品質なレンダリングを可能にすること。
• 学習された照明器具表現を標準的なモンテカルロレンダリングパイプラインにスムーズに統合できること。

提案手法

• 照明器具の幾何的複雑性を低減するため、シンプルなプロキシジオメトリを活用すること。
• 複雑で高動的範囲、高周波数の発光放射場をエンコードするため、神経放射場（NeRF）を用いること。
• HDRコンテンツ、高角周波数、ゼロ発光領域を適切に扱えるように、特別に設計された損失関数を設計すること。
• 訓練済みNeRFをプレノクトリー表現に蒸留し、従来のレンダリングシステムにおける効率的でGPU加速されたレンダリングを可能にすること。
• ボリュメトリックプレノクトリーを介したレイマーチングを用いて、最小限のサンプリングで高速かつ高品質なレンダリングを実現すること。

実験結果

リサーチクエスチョン

• RQ1 高動的範囲および高周波数発光パターンを有する複雑な照明器具を、神経放射場が効果的に表現できるか？
• RQ2 NeRFが、透過部および不透明部（ゼロ発光領域を含む）を正確にモデル化できるか？
• RQ3 NeRFベースの照明器具表現を、標準レンダリングパイプラインに効率的にプレノクトリーに蒸留できるか？
• RQ4 従来のパストレーシングと比較して、レンダリング速度と品質の面でどの程度の性能向上が達成できるか？

主な発見

• 本手法は、従来のパストレーシングおよびボリュメトリックパストレーシングと比較して最大100倍の高速化を達成し、誤差は最小限に抑えられている（表5にて確認）。
• 同じRMSE条件下で、レンダリング時間を分単位から秒単位に短縮している。例として、PORTICAリビングルームシーンでは84分から52.4秒に短縮された。
• DALLASデータセットにおいて、PSNRは31.50、SSIMは0.937を達成し、両者において品質と速度の点でZhuら[ZX*21]を顕著に上回った。
• 参照のパストレーシングレンダリングと比較して、視覚的に優れた結果が得られ、分散が低く、収束が速いことが図6で示された。
• プレノクトリー表現により、既存のレンダリングシステムへの効率的な統合が可能であり、直接光および間接光の両方を最小限の変更でサポートしている。
• 極めて低いサンプリングレート（例：4–32 spp）でも高い視覚的忠実度を維持しており、ロバスト性と効率性を示している。