[論文レビュー] Casual Indoor HDR Radiance Capture from Omnidirectional Images

Pulkit Gera, Mohammad Reza Karimi Dastjerdi+3 more|arXiv (Cornell University)|Aug 16, 2022

Image Enhancement Techniques被引用数 5

ひとこと要約

PanoHDR-NeRF は、標準の 360° カメラを用いて自由に撮影された LDR 全方向動画のみを用いて、屋内シーンにおける完全な高ダイナミックレンジ（HDR）放射場をキャプチャする、カジュアルで単一カメラのパイプラインを提案する。LDR2HDR ネットワークと特化した NeRF++ モデルを組み合わせることで、任意のシーン内ポイントからの正確な視点依存 HDR レンダリングを可能にし、仮想オブジェクトの現実的な照明や多様な屋内環境における頑健な性能によって検証された。

ABSTRACT

We present PanoHDR-NeRF, a neural representation of the full HDR radiance field of an indoor scene, and a pipeline to capture it casually, without elaborate setups or complex capture protocols. First, a user captures a low dynamic range (LDR) omnidirectional video of the scene by freely waving an off-the-shelf camera around the scene. Then, an LDR2HDR network uplifts the captured LDR frames to HDR, which are used to train a tailored NeRF++ model. The resulting PanoHDR-NeRF can render full HDR images from any location of the scene. Through experiments on a novel test dataset of real scenes with the ground truth HDR radiance captured at locations not seen during training, we show that PanoHDR-NeRF predicts plausible HDR radiance from any scene point. We also show that the predicted radiance can synthesize correct lighting effects, enabling the augmentation of indoor scenes with synthetic objects that are lit correctly. Datasets and code are available at https://lvsn.github.io/PanoHDR-NeRF/.

研究の動機と目的

• 特殊な機器や複雑なキャプチャプロトコルを用いずに、屋内シーンにおいて実用的で高品質な HDR 放射場のキャプチャを可能にすること。
• 従来の NeRF を用いた手法が LDR 入力で学習する場合に真の HDR 照明をモデル化できないという限界を克服すること。
• 視野外の視点にも一般化可能な空間的に変化する HDR 放射場のニューラル表現を学習すること。
• 360° LDR 動画をハンドヘルドで簡単かつカジュアルに撮影するだけで、シーンの再照明に適した妥当で物理的に妥当な HDR 照明を合成できることを示すこと。
• 訓練されていない位置に実際の HDR 照明プローブを設置して検証することで、一般化性と正確性を裏付けること。

提案手法

• ユーザーが標準の 360° カメラを用いて、屋内シーンを自由に LDR 全方向動画で撮影することから始める。
• 各フレームに LDR2HDR ニューラルネットワークを適用し、単一の LDR パノラマから高ダイナミックレンジ（HDR）放射値を予測する。
• 予測された HDR フレームを用いて、シーン内の任意の 3D レイに沿った HDR 放射場のレンダリングを学習するように変更された NeRF++ モデルを訓練する。
• HDR の極端な強度値の予測を改善し、学習の安定性を高めるために、対数空間での損失関数を用いてモデルを訓練する。
• 複雑なキャリブレーションやマルチエクposure撮影を回避し、各視点ごとに1枚の露出での入力から HDR 内容を推定する LDR2HDR ネットワークに依存する。
• 最終的な PanoHDR-NeRF モデルは、訓練中に観測されなかった視点を含む、シーン内の任意の位置から完全な HDR 放射場の新規ビュー合成を可能にする。

実験結果

リサーチクエスチョン

• RQ1 自由に撮影された LDR 全方向動画のみを用いて、屋内シーンにおける完全な HDR 放射場を表すニューラル放射場を学習可能か？
• RQ2 単一フレームのパノラマに適用された LDR2HDR ネットワークが、NeRF の学習に十分な正確な HDR 再構成を可能にするか？
• RQ3 予測された HDR 出力で学習した NeRF++ モデルが、撮影時に観測されなかった新規の視点に一般化可能か、特に空間的に変化する照明のもとでも成立するか？
• RQ4 損失空間の選択（線形空間対数空間）が、予測された HDR 放射場の品質および安定性にどのように影響するか？
• RQ5 得られた PanoHDR-NeRF モデルが、拡張現実アプリケーションにおける仮想オブジェクトの再照明に物理的に妥当な照明を生成できるか？

主な発見

• PanoHDR-NeRF は、訓練中に観測されなかった新規の視点に一般化し、複雑な照明変動を示す実際の屋内シーンにおいて、妥当な HDR 放射場を生成した。
• 合成された HDR 照明プローブを用いた仮想オブジェクトの再照明が正確に実現され、拡張現実やシーン補強における実用性が示された。
• 対数空間での学習は、線形空間での学習に比べて視覚的品質を著しく向上させ、ぼやけや浮遊アーチファクトを低減した。
• 処理順序が重要である：NeRF を HDR 出力で学習する（PanoHDR-NeRF）ことで、NeRF の後に LDR2HDR を適用する（NeRF-LDR2HDR）よりも、より時間的に安定した結果が得られた。
• 各視点ごとに1枚の LDR キャプチャしか使用していないにもかかわらず、感覚的品質および照明の正確性において、マルチエクposure HDR キャプチャと同等の性能を達成した。
• 強力な方向性照明（例：窓の近く）や複雑な反射を示すシーンを含む多様な屋内シーンにおいても、本手法は頑健である。