[論文レビュー] EMLight: Lighting Estimation via Spherical Distribution Approximation

Fangneng Zhan, Changgong Zhang+5 more|arXiv (Cornell University)|Dec 21, 2020

Advanced Vision and Imaging参考文献 36被引用数 13

ひとこと要約

EMLightは、球面上の分布回帰問題として照照明を定式化する画期的な照照明推定フレームワークを提案する。球面移動者損失（SML）を用いて、単位球面上の照照明分布を高精度に回帰する。球面畳み込みを用いた回帰ネットワークとニューラルプロジェクタを組み合わせることで、最先端の手法よりも優れたシャドー再現性と高周波数の再現性を持つ高精細なHDR照照明マップを生成する。

ABSTRACT

Illumination estimation from a single image is critical in 3D rendering and it has been investigated extensively in the computer vision and computer graphic research community. On the other hand, existing works estimate illumination by either regressing light parameters or generating illumination maps that are often hard to optimize or tend to produce inaccurate predictions. We propose Earth Mover Light (EMLight), an illumination estimation framework that leverages a regression network and a neural projector for accurate illumination estimation. We decompose the illumination map into spherical light distribution, light intensity and the ambient term, and define the illumination estimation as a parameter regression task for the three illumination components. Motivated by the Earth Mover distance, we design a novel spherical mover's loss that guides to regress light distribution parameters accurately by taking advantage of the subtleties of spherical distribution. Under the guidance of the predicted spherical distribution, light intensity and ambient term, the neural projector synthesizes panoramic illumination maps with realistic light frequency. Extensive experiments show that EMLight achieves accurate illumination estimation and the generated relighting in 3D object embedding exhibits superior plausibility and fidelity as compared with state-of-the-art methods.

研究の動機と目的

• 単一画像照照明推定の不十分な制約性に対処するため、照照明を球面分布としてモデル化する。
• 既存手法が光のパラメータを回帰するか、直接マップを生成するが、高周波数の照照明詳細を保持できないという限界を克服する。
• 球面分布における空間的構造を活用することで、光源の局所化精度とシャドーのリアリズムを向上させる。
• 球面畳み込みを用いたニューラルプロジェクタを開発し、推定されたパラメータからパノラマ型で高精細な照照明マップを生成する。
• 最先端の手法との比較において、定量的および定性的な評価を通じて、リライト品質の優れた性能を示す。

提案手法

• 照照明マップを3つの成分に分解する：球面光分布、光の強度、アンビエント項。これらを構造的回帰に用いる。
• 球面上にN個の離散的アングルポイントを用いて球面光分布をモデル化し、光源のエネルギー分布を表現する。
• 地球移動距離にインspiredされた、1つの球面分布を別のものに変換するために必要な最小ラジアン距離を測定する、新規の球面移動者損失（SML）を導入する。これにより、球面上の空間的関係を捉える。
• 回帰ネットワークを用いて3つの照照明成分を予測する：SMLによる光分布、L2損失による光の強度、L2損失によるアンビエント項。
• 敵対的学習の設定で、球面畳み込みを用いたニューラルプロジェクタを活用し、現実的なHDRパノラマ照照明マップを生成する。
• パノラマ画像生成に内在する球面歪みを処理するため、球面畳み込みを適用し、高緯度領域における再現性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 従来の関数的表現と比較して、照照明を球面分布としてモデル化することで、照照明推定の精度が向上するか？
• RQ2 球面移動者損失（SML）は、標準的なL2損失や交差エントロピー損失よりも、離散的球面光分布の回帰において優れているか？
• RQ3 球面畳み込みを用いたニューラルプロジェクタは、推定されたパラメータから高精細で現実的なHDR照照明マップを生成できるか？
• RQ4 アングルポイント数の選択が、球面分布回帰の性能に与える影響は何か？
• RQ5 提案フレームワークは、最先端の手法と比較して、3Dオブジェクトレンダリングにおけるリライト品質をどの程度向上させるか？

主な発見

• EMLight（SD+SML+NP）は、L2損失や球面ガウスパラメータライゼーションを用いたバリエーションよりも優れた性能を達成する。
• 球面移動者損失（SML）は、交差エントロピー損失やL2損失よりも、球面上の空間的構造を効果的に捉えることで、光分布回帰の精度を顕著に向上させる。
• 球面畳み込みは、パノラマ照照明マップの生成において、標準畳み込みを上回り、特に球面上の高周波数詳細の保持に優れている。
• 128個のアングルポイントが最適な性能を発揮する。196個に増やすと性能向上が見られず、過パラメータ化による精度低下の可能性がある。
• 定性的な結果では、EMLightは明確で正確な影と局所化された光源を持つ現実的な照照明を生成するが、ベースライン手法はしばしば単純化されたりぼやけた照照明マップを生成する。
• リライトタスクにおいて、EMLightは最先端の手法よりもより現実的で高精細なレンダリングを生成し、複雑なシャドー効果や影の再現性を捉える点で優れている。