[論文レビュー] Learning to Correct Overexposed and Underexposed Photos

Mahmoud Afifi, Konstantinos G. Derpanis+2 more|arXiv (Cornell University)|Mar 25, 2020

Image Enhancement Techniques参考文献 43被引用数 8

ひとこと要約

本論文では、露出過多および露出不足の両方の写真を補正するための粗大から細かい深層畳み込みニューラルネットワーク（DNN）を提案する。新たに構築された24,000枚の露出歪みあり画像から成るデータセットをエンド・トゥ・エンドで訓練した結果、露出不足の画像では最先端の性能を達成し、露出過多の画像に対しても顕著な改善を示した。

ABSTRACT

Capturing photographs with wrong exposures remains a major source of errors in camera-based imaging. Exposure problems are categorized as either: (i) overexposed, where the camera exposure was too long, resulting in bright and washed-out image regions, or (ii) underexposed, where the exposure was too short, resulting in dark regions. Both under- and overexposure greatly reduce the contrast and visual appeal of an image. Prior work mainly focuses on underexposed images or general image enhancement. In contrast, our proposed method targets both over- and underexposure errors in photographs. We formulate the exposure correction problem as two main sub-problems: (i) color enhancement and (ii) detail enhancement. Accordingly, we propose a coarse-to-fine deep neural network (DNN) model, trainable in an end-to-end manner, that addresses each sub-problem separately. A key aspect of our solution is a new dataset of over 24,000 images exhibiting a range of exposure values with a corresponding properly exposed image. Our method achieves results on par with existing state-of-the-art methods on underexposed images and yields significant improvements for images suffering from overexposure errors.

研究の動機と目的

• カメラベースの画像撮影における露出エラーという長年の課題に取り組み、画像のコントラストと視覚的品質の低下を是正すること。
• 従来の手法が主に露出不足の画像や一般の強化に注力しているのに対し、露出過多と露出不足の両方を特にターゲットにすることにより、その制限を克服すること。
• 色調とディテールの両方の強化を同時に実行できる統合型の深層学習フレームワークを構築し、エンド・トゥ・エンドでの訓練を可能にすること。
• 24,000枚のペア画像（露出歪みありと適正露出のもの）から成る大規模データセットを構築・公開し、訓練および評価を支援すること。

提案手法

• 露出補正を、色調強化とディテール強化という2つの別々のサブ問題として定式化し、粗大から細かいDNNアーキテクチャで処理する。
• 露出歪みのある画像において、色調補正とディテール回復の両方を同時に最適化するエンド・トゥ・エンドで訓練された深層畳み込みニューラルネットワークを設計する。
• 各ペアに歪みのある露出画像とその対応する適正露出の基準画像を含む、24,000枚を超える新しいデータセットを活用する。
• 粗い予測を段階的に改善する多段階の精練プロセスを採用し、色の正確性と微細な画像ディテールの両方を回復する。
• 自然な外観と構造的整合性を維持するため、知覚的損失と再構成損失を組み合わせた損失関数をモデルの訓練に用いる。

実験結果

リサーチクエスチョン

• RQ1 統合型フレームワークを用いて、深層学習モデルが露出過多および露出不足の両方の画像を効果的に補正できるか。
• RQ2 色調とディテール強化を同時に最適化することで、それらを別々に処理する場合と比較して、性能がどのように向上するか。
• RQ3 露出歪みありおよび適正露出のペア画像から成る大規模かつ多様なデータセットが、モデルの一般化性能にどの程度寄与するか。
• RQ4 提案された粗大から細かいアーキテクチャが、露出過多および露出不足の両方の補正において、既存の最先端手法を上回る性能を発揮するか。

主な発見

• 提案手法は露出不足の画像において、最先端の手法と同等の性能を達成しており、この問題分野における有効性を裏付けた。
• 露出過多の画像に対しては、従来の手法がしばしば性能を発揮しない分野においても、本手法は顕著な改善を示した。
• 24,000枚のペア画像から成る大規模データセットの活用により、多様な露出条件および画像コンテンツにわたる一般化性能が向上した。
• 粗大から細かいDNNアーキテクチャのエンド・トゥ・エンド訓練により、より良い特徴抽出が可能になり、色調および微細ディテールの両方の回復精度が向上した。