[論文レビュー] Image Correction via Deep Reciprocating HDR Transformation

Xin Yang, Ke Xu+4 more|arXiv (Cornell University)|Apr 12, 2018

Image Enhancement Techniques参考文献 38被引用数 7

ひとこと要約

本稿では、高ダイナミックレンジ（HDR）ドメインで欠落した詳細を再構築し、その後トーンマッピングを介して低ダイナミックレンジ（LDR）ドメインに戻すことで、露出不足・過剰露出の画像を補正するエンドツーエンドのディープラーニングフレームワーク、Deep Reciprocating HDR Transformation（DRHT）を提案する。この手法は、HDR再構築とLDR補正の統合的ネットワークを用いることで、従来の最先端の画像補正技術よりも、欠落した詳細を効果的に回復し、標準ベンチマークで優れた性能を発揮する。

ABSTRACT

Image correction aims to adjust an input image into a visually pleasing one. Existing approaches are proposed mainly from the perspective of image pixel manipulation. They are not effective to recover the details in the under/over exposed regions. In this paper, we revisit the image formation procedure and notice that the missing details in these regions exist in the corresponding high dynamic range (HDR) data. These details are well perceived by the human eyes but diminished in the low dynamic range (LDR) domain because of the tone mapping process. Therefore, we formulate the image correction task as an HDR transformation process and propose a novel approach called Deep Reciprocating HDR Transformation (DRHT). Given an input LDR image, we first reconstruct the missing details in the HDR domain. We then perform tone mapping on the predicted HDR data to generate the output LDR image with the recovered details. To this end, we propose a united framework consisting of two CNNs for HDR reconstruction and tone mapping. They are integrated end-to-end for joint training and prediction. Experiments on the standard benchmarks demonstrate that the proposed method performs favorably against state-of-the-art image correction methods.

研究の動機と目的

• 露出不足・過剰露出領域からの詳細回復に限界を示す既存の画像補正手法の課題を解決すること。
• 欠落した詳細が保持されるHDRドメインに再考することで、LDRベースの補正の不適切な性質を克服すること。
• エンドツーエンド学習を可能にするために、画像補正を相互作用的なHDR変換プロセスとして定式化すること。
• HDR再構築とトーンマッピングを統合的に最適化する統一されたディープラーニングフレームワークを構築し、視覚的品質を向上させること。

提案手法

• HDR再構築用のCNNとトーンマッピング用の別のネットワークを用いた2段階のディープラーニングフレームワークを提案する。
• フルHDR再構築の複雑さを軽減するために、HDRドメインでの欠落した詳細のみを予測する残差学習を採用する。
• HDR予測値をLDRドメインに戻すために、逆ガンマ圧縮および対数変換を実行する。
• 知覚的損失と再構築損失を統合したユニフィード損失関数を用いて、両ネットワークをエンドツーエンドで訓練する。
• 画像形成モデル I = f_CRF(S × Δt) を用いて、HDRベースの補正アプローチの妥当性を裏付ける。
• HDR再構築とトーンマッピングを相互に作用させる形で統合し、HDRで回復された詳細が最終的なLDR出力に保持されることを保証する。

実験結果

リサーチクエスチョン

• RQ1 補正プロセスをLDRドメインからHDRドメインに移行させることで、露出不足・過剰露出領域の欠落した詳細を効果的に回復できるか？
• RQ2 HDR再構築とトーンマッピングを統合的に学習するエンドツーエンドのディープラーニングフレームワークは、従来のLDRベースの補正手法を上回る性能を発揮するか？
• RQ3 HDRデータにおける残差学習は、詳細回復を向上させつつ視覚的妥当性を維持できるか？
• RQ4 視覚的および定量的性能の観点から、DRHT手法は最先端のHDRベースの画像補正手法と比較してどのように差をつけるか？
• RQ5 強い直達日差による極端な過剰露出のような極端な照明条件下では、DRHTフレームワークにどのような限界があるか？

主な発見

• 提案されたDRHT手法は、標準的な画像補正ベンチマークで最先端の性能を達成し、視覚的品質および定量的指標の両面で、従来のLDRベースおよびHDRベースの手法を上回る。
• 定量的評価では、PSNR、SSIM、LPIPSなどの指標で優れた結果を示しており、構造的および知覚的忠実度の向上を示している。
• 視覚的比較により、DRHTは影にあるテクスチャなどの微細な詳細を効果的に回復できることを示しており、従来のフィルタリング手法でよく見られる過剰な平滑化を回避している。
• 特に、雪景色や高コントラスト領域におけるブロッキング効果などのアーチファクトを低減し、局所コントラストを保持する点で、HDRベースのベースライン（DrTMOやHdrcnn）を上回っている。
• 残差HDR再構築に注力することで、トーンマッピング中に詳細が損なわれることを効果的に防止し、より自然な外観の出力を得ている。
• 限界分析により、DRHTは直達日差による極端な過剰露出に対しては困難を示すことが判明した。これは、このような状況のトレーニング例が不足しているためであり、今後の研究でデータ拡張の必要性が示唆される。