[論文レビュー] EverLight: Indoor-Outdoor Editable HDR Lighting Estimation

Mohammad Reza Karimi Dastjerdi, Jonathan Eisenmann+2 more|arXiv (Cornell University)|Apr 26, 2023

Advanced Vision and Imaging被引用数 4

ひとこと要約

EverLightは、パラメトリックな球面ガウス光源とGANベースのパノラマ生成を組み合わせることで、1枚の画像から高精細な360°パノラマを生成する統合的で編集可能なHDRライティング推定手法を提案する。ライティング共変調を導入することで、屋内および屋外のシーン編集をスムーズに可能にし、リアルリズムと編集可能性の両面で最先端の結果を達成する。

ABSTRACT

Because of the diversity in lighting environments, existing illumination estimation techniques have been designed explicitly on indoor or outdoor environments. Methods have focused specifically on capturing accurate energy (e.g., through parametric lighting models), which emphasizes shading and strong cast shadows; or producing plausible texture (e.g., with GANs), which prioritizes plausible reflections. Approaches which provide editable lighting capabilities have been proposed, but these tend to be with simplified lighting models, offering limited realism. In this work, we propose to bridge the gap between these recent trends in the literature, and propose a method which combines a parametric light model with 360° panoramas, ready to use as HDRI in rendering engines. We leverage recent advances in GAN-based LDR panorama extrapolation from a regular image, which we extend to HDR using parametric spherical gaussians. To achieve this, we introduce a novel lighting co-modulation method that injects lighting-related features throughout the generator, tightly coupling the original or edited scene illumination within the panorama generation process. In our representation, users can easily edit light direction, intensity, number, etc. to impact shading while providing rich, complex reflections while seamlessly blending with the edits. Furthermore, our method encompasses indoor and outdoor environments, demonstrating state-of-the-art results even when compared to domain-specific methods.

研究の動機と目的

• 屋内と屋外のドメイン特化型ライティング推定手法の間のギャップを埋めるために、統合的フレームワークを構築すること。
• 明るさ、方向、色、光源数といったユーザー編集可能なHDRライティングパラメータを維持しつつ、現実的な反射と陰影を保つこと。
• GANベースのパノラマ生成のリアリズムと、パラメトリックライティングモデルの解釈可能性を統合すること。
• ドメイン特化の調整なしに、屋内および屋外の両環境で競争力のある性能を達成すること。
• 画像合成中に生成器の特徴と tightly 結びついたライティング編集を可能にする、新しいライティング共変調メカニズムを導入すること。

提案手法

• LDRパノラマ拡張に訓練されたGANベースの生成器を、球面ガウス光源表現を用いてHDRに拡張すること。
• 生成器の残差ブロック全体にライティング特徴を注入するライティング共変調モジュールを導入し、編集された光源とシーンの幾何学的形状との一貫性あるブレンドを保証すること。
• 1枚のRGB画像からHDR球面ガウスパラメータ（位置、強度、色）を予測する学習済みライティングエンコーダーを用いること。
• 視覚的、敵対的、L1損失の組み合わせを用いて、テクスチャとライティングの忠実度を保つためにエンドツーエンドで訓練すること。
• 入力パノラマのダイナミックレンジ拡張を、飽和ピクセルを回復させるプロキシネットワークを用いて行い、HDR推定の正確性を向上させること。
• スタイルとライティング共変調を備えたフォワードパス生成器を用い、ライティング属性の分離され、制御可能な編集を保証すること。

実験結果

リサーチクエスチョン

• RQ1 1つのディープラーニングフレームワークが、屋内および屋外の両方のシーンにおいて、HDRライティング推定で最先端の性能を達成できるか？
• RQ2 ライティング共変調は、複雑なシーンテクスチャと編集可能な光源を現実的にブレンドするのにどの程度効果的か？
• RQ3 特別なハードウェアやドメイン特化データに依存せずに、GANベースの生成器が高品質で編集可能なHDRパノラマを生成できるか？
• RQ4 パラメトリックなライティングモデリングとGANベースの合成を組み合わせることで、純粋なパラメトリックまたは純粋な生成的手法に比べ、リアリズムと編集可能性の両面で優れた性能を達成できるか？
• RQ5 多様なライティング条件に一般化できるか、同時に正確な陰影と反射特性を維持できるか？

主な発見

• EverLightは、屋外テストセットでFID 38.44、屋内セットでFID 78.90を達成し、編集不能かつドメイン特化型のベースラインを上回った。
• アブレーションスタディでは、ライティング共変調を削除すると、屋外シーンのFIDが50.29に上昇し、現実的な光のブレンドにおいてその重要性が示された。
• 定性的な結果から、編集された光源が水や磨かれた床の表面に現実的な反射を生み出すことが確認された、複雑なシーンでも同様に有効であった。
• 本手法は、テクスチャ品質を損なわせることなく、直感的なライティングパラメータの編集を可能にするリアルなHDRパノラマを効果的に生成した。
• プロキシの真値ライティングを用いても、本モデルは実世界のシーンに強く一般化し、ライティングの多様性に対して頑健であることが示された。
• ドメイン特化型手法と比較しても、本フレームワークは競争力のある性能を維持しており、屋内および屋外のライティング推定における統合的ソリューションとしての有効性を裏付けた。