[論文レビュー] Dual Illumination Estimation for Robust Exposure Correction

Qing Zhang, Yongwei Nie+1 more|arXiv (Cornell University)|Oct 30, 2019

Image Enhancement Techniques参考文献 39被引用数 8

ひとこと要約

本稿では、露出不足、露出過多、および混合露出の画像を対象として、ロバストで自動的な露出補正を実現する二重照度推定手法を提案する。入力画像とその反転画像の両方の照度を推定することで、露出不足領域を補正する一方で露出過多領域を回復する2つの中間補正画像を生成し、それらをマルチ露出融合により統合することで、全体的に適正露出で自然な見た目の結果を生成する。この手法は、最先端の手法と比較して優れた視覚的品質とユーザーの好みを満たす。

ABSTRACT

Exposure correction is one of the fundamental tasks in image processing and computational photography. While various methods have been proposed, they either fail to produce visually pleasing results, or only work well for limited types of image (e.g., underexposed images). In this paper, we present a novel automatic exposure correction method, which is able to robustly produce high-quality results for images of various exposure conditions (e.g., underexposed, overexposed, and partially under- and over-exposed). At the core of our approach is the proposed dual illumination estimation, where we separately cast the under- and over-exposure correction as trivial illumination estimation of the input image and the inverted input image. By performing dual illumination estimation, we obtain two intermediate exposure correction results for the input image, with one fixes the underexposed regions and the other one restores the overexposed regions. A multi-exposure image fusion technique is then employed to adaptively blend the visually best exposed parts in the two intermediate exposure correction images and the input image into a globally well-exposed image. Experiments on a number of challenging images demonstrate the effectiveness of the proposed approach and its superiority over the state-of-the-art methods and popular automatic exposure correction tools.

研究の動機と目的

• 露出が複雑な状態（露出不足、露出過多、および混合領域）を示す画像における自動露出補正の課題に対処すること。
• 従来の手法が露出不足または露出過多の補正に限定されている、あるいは不自然な結果を生じるという限界を克服すること。
• 最先端の手法や一般的なツールを上回る視覚的品質とユーザーの好みを満たす、完全自動的かつ効率的で堅牢な露出補正フレームワークを開発すること。
• 複数のソース（入力画像および2つの補正済み画像）から得られる局所的に最適な露出領域を、一貫した全体的な露出結果に滑らかに統合すること。

提案手法

• 二重照度推定の提案：入力画像に対して順方向照度を推定し、反転入力画像に対して逆方向照度を推定することで、それぞれ露出不足と露出過多の問題に対処する。
• 2つの中間露出補正画像の回復：順方向照度を用いて露出不足領域を補正する一方で、反転画像上で逆方向照度を用いて露出過多領域を回復する。
• マルチ露出画像統合を適用して、入力画像と2つの中間結果を統合し、各ソースから最も適正露出の局所領域を選択する。
• 露出品質と局所コントラストに基づき、3枚の画像（入力画像と2つの補正済み画像）から視覚的に魅力的な部分を適応的にブレンドする統合戦略を採用する。
• 露出過多の補正を、反転画像上で露出不足の補正として再定式化することで、両方の露出問題を対称的に取り扱えるという洞察を活用する。
• 完全自動化とほぼインタラクティブな実行時間（平均0.8秒）を確保し、実世界応用に実用的であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 入力画像を反転させ、露出過多領域を露出不足とみなすことで、照度推定を露出過多領域の補正に効果的に拡張できるか？
• RQ2 二重照度推定により、露出不足および露出過多が混合した多様な露出状態において、露出補正のロバスト性がどのように向上するか？
• RQ3 入力画像と2つの補正済み画像の3つのソースを用いたマルチ露出統合により、単一画像補正手法に比べてより優れたグローバル露出結果が得られるか？
• RQ4 深層学習ベースの最先端手法および商業的ツールと比較して、本手法の視覚的品質とユーザーの好みはどの程度優れているか？
• RQ5 ノイズ増幅や色のアーチファクトを避ける一方で、自然な色合い、コントラスト、微細なディテールをどの程度保持できるか？

主な発見

• ユーザー評価調査では、83%の被験者が本手法を入力画像よりも好んだ。これは、視覚的優位性が顕著であることを示している。
• HDRNetに対して72%、DPEに対して78%、Exposure [HHX*18]に対して67%のユーザー選好を示し、複数のベースラインに対して一貫した優位性を示した。
• 露出不足および露出過多の両方を含む困難な画像においても、視覚的に魅力的な結果を生成した。一方、従来の手法ではしばしば失敗していた。
• Auto-Tone や Auto-Level といった商業ツールよりも優れた結果を出力しており、しばしば不自然または最適でない結果を生じるのを避けていた。
• 平均0.8秒というほぼインタラクティブな実行時間であり、リアルタイム応用に実用的である。
• 限界として、極端に露出不足または露出過多な顔の領域では細部の回復に失敗する可能性があり、ノイズの強い入力ではノイズの増幅が発生する可能性があるが、これらの状況はまれである。