[論文レビュー] Deep Outdoor Illumination Estimation

Yannick Hold-Geoffroy, Kalyan Sunkavalli+3 more|arXiv (Cornell University)|Nov 19, 2016

Advanced Vision and Imaging参考文献 33被引用数 13

ひとこと要約

本論文では、1枚の低ダイナミックレンジ（LDR）画像から高ダイナミックレンジ（HDR）の屋外照明を推定する深層畳み込みニューラルネットワーク（CNN）ベースの手法を提案する。屋外パノラマの巨大データベースを活用し、物理的に妥当なHošek-Wilkieスカイモデルを適合させてHDR照明パラメータを抽出することで、ネットワークは太陽の位置、大気の不純度、カメラキャリブレーションを予測するよう学習し、最先端の正確性を実現する写真同等の仮想オブジェクト挿入を可能にする。

ABSTRACT

We present a CNN-based technique to estimate high-dynamic range outdoor illumination from a single low dynamic range image. To train the CNN, we leverage a large dataset of outdoor panoramas. We fit a low-dimensional physically-based outdoor illumination model to the skies in these panoramas giving us a compact set of parameters (including sun position, atmospheric conditions, and camera parameters). We extract limited field-of-view images from the panoramas, and train a CNN with this large set of input image--output lighting parameter pairs. Given a test image, this network can be used to infer illumination parameters that can, in turn, be used to reconstruct an outdoor illumination environment map. We demonstrate that our approach allows the recovery of plausible illumination conditions and enables photorealistic virtual object insertion from a single image. An extensive evaluation on both the panorama dataset and captured HDR environment maps shows that our technique significantly outperforms previous solutions to this problem.

研究の動機と目的

• シーンの幾何、材質、照明効果が混在するため、一括して解が一意に定まらないという困難な課題に取り組むこと。
• 大規模なLDR画像とHDR照明の真値がペアで整備されたデータセットの不足を補うために、大規模なパノラマデータベースからHDRパラメータを合成すること。
• 幾何や材質に関する強い事前知識に依存せずに、多様な屋外シーンに一般化可能な手法を開発すること。
• 画像ベースのライティングや3Dオブジェクトの再ライティングに使用可能な、完全なHDR環境マップを1枚の入力画像からエンドツーエンドで予測すること。

提案手法

• 訓練データとして、360°屋外パノラマのSUN360データベースを用い、入力LDR画像を模倣するため、限定的な視野（FOV）画像を抽出する。
• 各パノラマの可視スカイ領域に物理的に妥当なHošek-Wilkieスカイモデルを適合させ、太陽の位置、大気の不純度、カメラキャリブレーション（幾何的および放射的）といった、コンactかつ物理的に意味のあるHDR照明パラメータを抽出する。
• ペア化された画像-パラメータデータを用いて、入力LDR画像から抽出されたHDR照明パラメータを回帰する深層畳み込みニューラルネットワーク（CNN）を学習する。
• 推論時、予測されたパラメータからHDRスカイ環境マップを再構築し、3Dオブジェクトの写真同等の再ライティングを可能にする。
• スカイモデルの物理的妥当性を活用して、パノラマの過光量領域でさえも一貫性があり正確な予測を保証する。
• トレーニング済みのCNNを実世界のLDR画像に適用し、現地で撮影されたHDRパノラマと比較して再ライティングの結果を評価する。

実験結果

リサーチクエスチョン

• RQ1 シーンの幾何や材質に関する明示的な事前知識を必要とせず、1枚のLDR画像から完全なHDR屋外照明を効果的に予測できる深層CNNは構築可能か？
• RQ2 物理的に妥当なスカイモデル（Hošek-Wilkie）を用いて、低ダイナミックレンジパノラマから正確なHDR照明パラメータを合成し、効果的なCNNトレーニングを可能にするか？
• RQ3 予測された照明は、写真同等の3Dオブジェクトの再ライティングにおいて、真値のHDRパノラマとどの程度一致するか？
• RQ4 本手法の失敗モードは何か。特に、複雑な幾何、照明の手がかりが欠落している、または鏡面反射があるシーンではどうか？

主な発見

• 提案手法は、SUN360パノラマデータセットおよび撮影済みHDRパノラマの両方で、以前の手法を著しく上回る性能を示した。
• CNNで予測された照明条件により、最小限の後処理で3Dモデル（例：ウサギ）の写真同等の再ライティングが可能である。図11に示すように、レンダリングされたオブジェクトは真値の再ライティングと非常に近い。
• テストケースの85％で太陽の位置を正確に推定できたが、複雑な幾何、影、鏡面反射があると照明の手がかりが遮断され、失敗が生じる。
• 露出パラメータ ω は平均的にわずかに過大に推定されており、結果としてレンダリングが真値よりもわずかに明るくなる傾向にあるが、全体的な視覚的品質は高い。
• Hošek-Wilkieモデルは晴天時において高い精度を示すが、曇りの状況では不純度を低く推定する傾向にあり、予測結果に晴天に近い状態がバイアスされる。
• 本手法はスカイハーフスフィアの完全なHDR環境マップを生成でき、現実的な拡散照明を実現するが、鏡面反射は捉えられておらず、追加の後処理が必要な場合がある。