[論文レビュー] Light Source Estimation with Analytical Path-tracing

Mike Kasper, Nima Keivan+2 more|arXiv (Cornell University)|Jan 15, 2017

Advanced Vision and Imaging参考文献 4被引用数 4

ひとこと要約

本稿では、環境マップパラメータライゼーションを用いた解析的パストレーシングを用いた、RGB-Dスキャンからの正確な照明再構築を可能にする新しい光源推定手法を提示する。光輸送方程式の解析的微分を計算することで、勾配降下を用いた最適化を高速化し、近接光源に対しても高精度なレンダリングと堅牢な推定を実現した。実データおよび合成データを用いた検証により、10分未満で収束する。

ABSTRACT

We present a novel algorithm for light source estimation in scenes reconstructed with a RGB-D camera based on an analytically-derived formulation of path-tracing. Our algorithm traces the reconstructed scene with a custom path-tracer and computes the analytical derivatives of the light transport equation from principles in optics. These derivatives are then used to perform gradient descent, minimizing the photometric error between one or more captured reference images and renders of our current lighting estimation using an environment map parameterization for light sources. We show that our approach of modeling all light sources as points at infinity approximates lights located near the scene with surprising accuracy. Due to the analytical formulation of derivatives, optimization to the solution is considerably accelerated. We verify our algorithm using both real and synthetic data.

研究の動機と目的

• RGB-Dベースのシーン再構築における明度一定性とラムベールアン仮定の制限を解消し、正確な照明および表面特性推定を可能にすること。
• 従来のパストレーシングにおける最適化の計算非効率性を克服するため、有限差分を解析的微分に置き換えること。
• 無限遠に位置する光源としてモデル化する環境マップパラメータライゼーションを用いて、近接光源の位置推定を正確に行えるようにすること。
• 表面アルベドやBRDFの推定など、他のシーンパラメータの推定に対しても拡張可能なフレームワークを開発すること。

提案手法

• 本手法は、RGB-Dデータから再構築された3次元シーンにおける光輸送をシミュレートするカスタムパストレーサーを採用する。
• 光源を環境マップでパラメータライズし、光源を無限遠の点光源として表現することで最適化を簡素化する。
• 光輸送方程式の解析的微分を光学的原則から導出し、有限差分を用いない効率的な勾配計算を可能にする。
• 写真誤差を最小化するため、逐次モンテカルロ法と勾配降下法を用いた非線形最適化を実行する。
• 収束するまで、再トレーシングとヤコビアンの再計算を繰り返し、照明パラメータを逐次更新する。
• 導出計算はGPUで、最適化はCPUで実装し、6～10イテレーション（約10分）で収束を達成した。

実験結果

リサーチクエスチョン

• RQ1 光輸送方程式の解析的微分は、RGB-D再構築シーンにおける照明最適化を顕著に高速化できるか？
• RQ2 無限遠に位置する光源としてモデル化しているにもかかわらず、実世界の近接光源を環境マップパラメータライゼーションがどれほど正確に推定できるか？
• RQ3 シーン幾何再構築誤差が、特に深度不連続部において写真誤差にどの程度影響を与えるか？
• RQ4 本手法は、複数の面光源を含む複雑な照明を有する実シーンおよび合成シーンに対し、堅牢に照明状態を推定できるか？
• RQ5 本フレームワークは、照明に加えて表面反射率およびシーン幾何を同時に推定するのに拡張可能か？

主な発見

• 逐次モンテカルロ法と勾配降下法の6～10イテレーションで収束し、1シーンあたりの最適化時間は約10分である。
• 写真誤差は深度不連続部で最大となり、シーン幾何再構築の品質が推定精度に直接影響していることが示された。
• 無限遠に位置する光源としてモデル化しているにもかかわらず、実データおよび合成データを用いた検証により、高精度なレンダリングと近接光源の正確な推定が達成された。
• 環境マップパラメータライゼーションは、面光源からのわずかな知覚的ずれしか生じさせず、レンダリングシーンのリアリズムを保持した。
• 本手法により、相互作用する影やスペキュラー・ハイライトなどの複雑な光学効果のリアルなレンダリングが可能になった。
• 本手法は、表面アルベド、BRDF、シーン幾何の同時推定に対しても拡張可能であり、逆レンダリングの統合フレームワークを提供する。