[論文レビュー] Zero-Reference Deep Curve Estimation for Low-Light Image Enhancement

Chunle Guo, Chongyi Li+5 more|arXiv (Cornell University)|Jan 19, 2020

Image Enhancement Techniques参考文献 36被引用数 141

ひとこと要約

Zero-DCEは参照画像を一切用いず、画像固有の曲線マッピングを学習して低照度画像を改善する。反復的なピクセル単位の高次曲線を用いる。非参照損失を用いて学習を導き、軽量モデルで最先端の結果を達成する。

ABSTRACT

The paper presents a novel method, Zero-Reference Deep Curve Estimation (Zero-DCE), which formulates light enhancement as a task of image-specific curve estimation with a deep network. Our method trains a lightweight deep network, DCE-Net, to estimate pixel-wise and high-order curves for dynamic range adjustment of a given image. The curve estimation is specially designed, considering pixel value range, monotonicity, and differentiability. Zero-DCE is appealing in its relaxed assumption on reference images, i.e., it does not require any paired or unpaired data during training. This is achieved through a set of carefully formulated non-reference loss functions, which implicitly measure the enhancement quality and drive the learning of the network. Our method is efficient as image enhancement can be achieved by an intuitive and simple nonlinear curve mapping. Despite its simplicity, we show that it generalizes well to diverse lighting conditions. Extensive experiments on various benchmarks demonstrate the advantages of our method over state-of-the-art methods qualitatively and quantitatively. Furthermore, the potential benefits of our Zero-DCE to face detection in the dark are discussed. Code and model will be available at https://github.com/Li-Chongyi/Zero-DCE.

研究の動機と目的

• ペア付き・ペアなしの学習データに頼らず、低照度改善を促進する。
• 画像ごとにダイナミックレンジを調整するデータ効率の高い深層曲線推定フレームワークを提案する。
• 品質を暗黙的に導く微分可能な非参照損失を設計する。
• 高次調整のための画素ごとの曲線パラメータを予測する軽量ネットワークを開発する。

提案手法

• 強化を、LE(I(x);α) = I(x) + α I(x)(1 - I(x)) という2次の Light-Enhancement 曲線を用いた画像固有の曲線推定として定式化する。
• LEを反復してLE_nを得ることで高次に拡張し、画素ごとのαを画素ごとの調整用のマップ A(x) にする。
• DCE-Netを実装する。これは7層のCNNで、最終的にTanh活性化を用いて、3チャネル全体で8回の反復に対する24個のパラメータマップを出力する。
• 空間的一貫性、露出制御、色彩一貫性、照明滑らかさを含む非参照損失で訓練する。
• 微分可能なフレームワークで損失を適用し、エンドツーエンドのゼロリファレンス学習を可能にする。
• マッピング中に画素値範囲、単調性、微分可能性を維持し、画像構造を保持する。

実験結果

リサーチクエスチョン

• RQ1 ペアあり／なしを問わず、参照画像なしで低照度改善モデルを訓練できるか？
• RQ2 多様な照明条件を横断して、画像固有の画素単位の曲線マッピングがダイナミックレンジを堅牢に調整できるか？
• RQ3 地上真実画像なしで、非参照損失は高品質な改善を十分に導くか？
• RQ4 軽量なDCE-Netは競合力のある性能とリアルタイム推論を実現できるか？
• RQ5 暗所での顔検出などの下流タスクを改善できるか？

主な発見

• Zero-DCEは参照データなしで、定性的・定量的に競争力のあるまたは優れた結果を達成する。
• 7層のDCE-Netは8回の反復と画素-wise曲線マップで、ベンチマークセット上でPSNRとSSIMが高く、MAEを最小化する。
• 非参照損失（空間的一貫性、露出制御、色彩恒常性、照明の滑らかさ）は、切除実験によって示されるように画像品質に大きく寄与する。
• Zero-DCEはリアルタイムで動作（GPU上で640x480x3画像で約500 FPS）し、約30分で訓練できる。
• 本手法は低照度下での顔検出を、いくつかのベースラインと比較して改善する。
• Zero-DCEは、さまざまな照明条件に対して有利な実行時間と一般化性能を示す。