[論文レビュー] All-Weather Deep Outdoor Lighting Estimation

Jinsong Zhang, Kalyan Sunkavalli+4 more|arXiv (Cornell University)|Jun 12, 2019

Image Enhancement Techniques参考文献 21被引用数 10

ひとこと要約

本稿では、あらゆる天候条件下において単一のLDR画像からHDR屋外照明を推定するためのディーブラーニングフレームワークを提案する。PanoNetと呼ばれるCNNを導入し、LDRパノラマからLalonde-Matthewsスカイモデルのパrameterを推定する。新規のレンダリング損失関数を用いることで、正確なスカイの外観とオブジェクトのレンダリングを実現する。また、PanoNetでラベル付けされたデータを用いて学習されたCropNetという第二のネットワークを提案し、晴れ時および曇り時を含む両方の条件下で、先行研究を上回る最先端の性能を達成する。

ABSTRACT

We present a neural network that predicts HDR outdoor illumination from a single LDR image. At the heart of our work is a method to accurately learn HDR lighting from LDR panoramas under any weather condition. We achieve this by training another CNN (on a combination of synthetic and real images) to take as input an LDR panorama, and regress the parameters of the Lalonde-Matthews outdoor illumination model. This model is trained such that it a) reconstructs the appearance of the sky, and b) renders the appearance of objects lit by this illumination. We use this network to label a large-scale dataset of LDR panoramas with lighting parameters and use them to train our single image outdoor lighting estimation network. We demonstrate, via extensive experiments, that both our panorama and single image networks outperform the state of the art, and unlike prior work, are able to handle weather conditions ranging from fully sunny to overcast skies.

研究の動機と目的

• 単一のLDR画像からHDR屋外照明を推定するという、天候状況の変動と従来のパrametricモデルの限界によって複雑化する、不適切に定義された問題に対処すること。
• 既存手法が晴れの空にバイアスをもつ問題を克服し、曇りや混合天候状況を正確に表現できるモデルを開発すること。
• 合成データと実データの組み合わせを用いて、多様な照明条件に一般化可能な堅牢なネットワークを訓練すること。
• 予測された照明と真値照明の下でのレンダリング結果の外観を一致させる、新規のレンダリングベースの損失関数を導入し、スカイ外観の一致のみに依存するものより一般化性能を向上させること。
• 解釈可能なパラメトリックな照明推定を提供することで、画像編集や拡張現実の実用的応用を可能にすること。

提案手法

• 2段階のディーブラーニングパイプラインを提案：まず、PanoNetが合成画像と実画像のハイブリッドデータセットを用いて、LDRパノラマからHDR照明パラメータを推定する。
• PanoNetは、予測された照明と真値照明の下でのシーンレンダリングの差を最小化する、新規のレンダリング損失関数を用いて学習される。これにより、スカイ外観の一致のみに依存するものより、より現実的なレンダリングが実現される。
• Lalonde-Matthewsスカイモデルが、曇り空や晴れ空を含む広範な天候状況をモデル化できる点から、パラメトリック表現として採用された。
• PanoNetを用いて自動的にHDR照明パラメータでラベル付けされた、大規模なLDRパノラマデータセットを構築し、第二のネットワークの学習を可能にした。
• CropNetは、単一の限られた視野角の画像クロップから照明パラメータを回帰するように学習され、標準的な写真からの推論を可能にする。
• スカイ外観とオブジェクトレンダリングの忠実度の両方を監視信号として活用することで、スカイカラーへの過剰適合を低減し、耐障害性を向上させた。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、曇りや曇り空を含むあらゆる天候条件下において、単一のLDR画像からHDR屋外照明を正確に推定できるか？
• RQ2 予測された照明下でのシーン外観を真値照明下のものと一致させるレンダリングベースの損失関数は、スカイ外観のみに依存する監視と比較して、一般化性能を向上させるか？
• RQ3 Lalonde-Matthewsのような、多様な天候状況をサポートするパラメトリックスカイモデルは、Hošek-Wilkieのような表現力に劣るモデルを上回る性能を、実世界の推定タスクで示せるか？
• RQ4 合成データと実データの組み合わせは、未観測の天候状況における照明推定の耐障害性をどの程度向上させるか？
• RQ5 同じパノラマから抽出された異なる視点や局所的な画像クロップに対して、この手法はどの程度一般化できるか？

主な発見

• PanoNetは、曇りや部分的に曇りの状況において、先行研究を著しく上回る性能でLDRパノラマをHDR照明パラメータでラベル付けしている。
• CropNetは、単一画像照明推定タスクで最先端の性能を達成しており、[9] よりも低いRMSEおよびsi-RMSEを示しており、特に非日差の天候条件下で顕著な改善が見られる。
• レンダリング損失は、より現実的な影のレンダリングと、オブジェクトの照明の一貫性を向上させ、合成シーンにおけるアーティファクトを低減している。
• 同じパノラマからの異なる視点に対しても、この手法は良好に一般化しており、CropNetは局所的な照明変化に自然に適応している。
• 改善は見られたが、ソフトシャドウの処理にはまだ課題があり、灰色の空を過剰に推定する傾向があることから、学習データにバイアスが存在することが示唆された。
• 定性的な結果では、図1、9、10に示すように、晴れから曇りの多様な条件下で一貫性があり現実的な照明推定が得られている。