[論文レビュー] Learning High Dynamic Range from Outdoor Panoramas

Jinsong Zhang, Jean‐François Lalonde|arXiv (Cornell University)|Mar 29, 2017

Image Enhancement Techniques参考文献 33被引用数 10

ひとこと要約

本稿では、合成データで訓練された畳み込みオートエンコーダーを用いて、1枚の低ダイナミックレンジ（LDR）オムニディレクショナルパノラマから高ダイナミックレンジ（HDR）屋外ライティングを回復する深層学習ベースの手法を提案する。本手法は極端なダイナミックレンジの変動に対しても正確なHDR再構成を達成しており、合成データおよび実世界データの両方で検証された。また、1ショットのライトプローブやLDRデータベースにおけるHDR強化画像マッチングといった実用的応用を可能にする。

ABSTRACT

Outdoor lighting has extremely high dynamic range. This makes the process of capturing outdoor environment maps notoriously challenging since special equipment must be used. In this work, we propose an alternative approach. We first capture lighting with a regular, LDR omnidirectional camera, and aim to recover the HDR after the fact via a novel, learning-based inverse tonemapping method. We propose a deep autoencoder framework which regresses linear, high dynamic range data from non-linear, saturated, low dynamic range panoramas. We validate our method through a wide set of experiments on synthetic data, as well as on a novel dataset of real photographs with ground truth. Our approach finds applications in a variety of settings, ranging from outdoor light capture to image matching.

研究の動機と目的

• 1枚のLDRパノラマ写真のみを用いて、極端なダイナミックレンジを示す屋外ライティングを捉える挑戦に応えること。
• 飽和したLDRピクセルから妥当なHDR値を回帰するデータ駆動型の逆トーンマッピング手法を開発すること。
• 学習用に、実際のHDRスカイプローブで照らされたリアルな屋外シーンの大型合成データセットを作成すること。
• 地面真値HDRパノラマを備えた新規実世界データセットを用いて、手法の検証を行うこと。
• 1ショットのライトプローブ、Street ViewにおけるHDR可視化、大規模LDRデータベースにおける画像マッチングといった実用的応用を示すこと。

提案手法

• 非線形的かつ飽和したLDRパノラマから線形HDR値を回帰するように、畳み込みオートエンコーダーを訓練する。
• 合成学習データは、実世界のHDRスカイ環境マップで照らされたリアルな3Dシティモデルをレンダリングすることで生成される。
• ネットワークは、LDRパノラマと地面真値HDRがペアになった新規実世界データセットでファインチューニングされる。
• SUN360のようなデータセット間でのカメラ応答関数や後処理のばらつきに対応するため、ドメイン適応が適用される。
• ネットワークは重み共有を有する完全畳み込みアーキテクチャを採用しており、360°パノラマ全体での推論を可能にする。
• 画像ベースのライティングや照照明パrameter推定といった後続タスクのため、潜在空間表現（FC-64層）が活用される。

実験結果

リサーチクエスチョン

• RQ1 極端なダイナミックレンジがあるにもかかわらず、1枚のLDRパノラマから深層学習モデルがHDRライティングを効果的に回復できるか？
• RQ2 合成データで訓練されたモデルが、カメラ応答関数が異なる実世界のLDRパノラマにどれほど一般化できるか？
• RQ3 学習された表現が、画像ベースのライティングや画像マッチングといった実用的応用をどの程度サポートできるか？
• RQ4 地面真値の監視なしに、Google Street View やSUN360のような多様な実世界データセットで動作するようにモデルを適応できるか？
• RQ5 中心からずれた太陽や高解像度入力画像の処理において、本手法にどのような限界があるか？

主な発見

• 提案手法は、合成データおよび実データの両方において、1枚のLDRパノラマからのHDR再構成で最先端の性能を達成しており、従来の逆トーンマッピング演算子を上回っている。
• 実世界のLDRパノラマでネットワークをファインチューニングすることで、特に飽和や色の整合性の処理において再構成品質が顕著に向上した。
• ドメイン適応を施したネットワークはSUN360データセットからの有効なHDR外挿を可能にし、太陽の強度や高度に基づく画像マッチングといった応用を可能にした。
• 本手法により、Ricoh Theta Sのような一般消費者向け360°カメラを用いた1ショットのライトプローブ撮影が可能になり、妥当な仮想オブジェクトの挿入が実現した。
• 予測されたHDRパノラマから、太陽の強度や高度といった直感的な照照明パrameterを抽出できるため、大規模なLDRパノラマデータベースの効率的閲覧が可能になった。
• 成功を収めた一方で、本手法は入力のトーンマッピング関数に感受性を示しており、太陽がフレーム内にあり中心に位置している屋外シーンに限定される。