[論文レビュー] Self-Reference Deep Adaptive Curve Estimation for Low-Light Image Enhancement

Jianyu Wen, Chen‐Hao Wu+3 more|arXiv (Cornell University)|Aug 16, 2023

Image Enhancement Techniques被引用数 4

ひとこと要約

本論文では、自己参照ディープアダプティブカーブ推定とノイズ除去を用いた2段階の教師なし低照度画像強調手法Self-DACEを提案する。Retinex理論と簡略化されたカメラモデルに基づく新しい損失関数を用いた軽量CNNにより、局所的な強調カーブを学習し、視覚的品質および定量的指標において最先端の性能を達成するとともに、エッジデプロイに適した効率性を維持している。

ABSTRACT

In this paper, we propose a 2-stage low-light image enhancement method called Self-Reference Deep Adaptive Curve Estimation (Self-DACE). In the first stage, we present an intuitive, lightweight, fast, and unsupervised luminance enhancement algorithm. The algorithm is based on a novel low-light enhancement curve that can be used to locally boost image brightness. We also propose a new loss function with a simplified physical model designed to preserve natural images' color, structure, and fidelity. We use a vanilla CNN to map each pixel through deep Adaptive Adjustment Curves (AAC) while preserving the local image structure. Secondly, we introduce the corresponding denoising scheme to remove the latent noise in the darkness. We approximately model the noise in the dark and deploy a Denoising-Net to estimate and remove the noise after the first stage. Exhaustive qualitative and quantitative analysis shows that our method outperforms existing state-of-the-art algorithms on multiple real-world datasets.

研究の動機と目的

• エッジデバイスに適した普遍的で効率的かつ教師なしの低照度強調手法の不足を補う。
• 複雑な照明条件下で失敗し、アーチファクトを生じる既存のカーブベース手法の限界を克服する。
• 教師付きデータが不要な軽量でリアルタイム対応可能なネットワークを構築し、輝度強調を実現する。
• 輝度強調中に増幅されたノイズを、教師なしのノイズ除去モジュールを用いて除去する。
• 強調画像における色再現性、構造的整合性、自然な外観を維持する。

提案手法

• Retinex理論と簡略化された物理的カメラモデルを統合した新規の自己参照損失関数を提案し、カーブベース強調をガイドする。
• パラメータ化され、柔軟な適応的調整カーブを導入し、グローバルな過剰露出を避けて局所的な明るさを向上可能にする。
• 局所的な画像構造を保持するため、画素ごとの強調カーブを予測する軽量CNN（Luminance-Net）を採用する。
• 学習済みカーブを繰り返し適用することで、単調性を維持しながら段階的に輝度を強調する。
• 輝度強調後に暗所で増幅されたノイズを推定・抑制するため、別個のDenoising-Netを導入する。
• 視覚的品質を保証するため、グローバルカラー、構造的類似性、滑らかさの項を含むマルチコンポonent損失関数を適用する。

実験結果

リサーチクエスチョン

• RQ1 教師付きデータが不要な軽量で教師なしの深層学習手法は、優れた低照度強調を達成できるか？
• RQ2 Retinex理論と物理モデリングに基づく自己参照損失関数は、画像構造と色再現性をどれほど効果的に保持できるか？
• RQ3 複雑な照明条件下で、固定またはグローバルなガンマ関数に比べて、適応的かつ局所的に学習されたカーブはどれほど優れているか？
• RQ4 教師なしのノイズ除去モジュールは、輝度強調中に発生するノイズを効果的に抑制できるか？
• RQ5 2段階設計（輝度強調＋ノイズ除去）は、1段階手法に比べて視覚的および定量的性能が向上するか？

主な発見

• Self-DACEは、LOL、LSRW、SCIE Part2データセットにおいて、PSNR、SSIM、LPIPS、CIEDE2000の指標で8つの最先端手法を上回った。
• 段階Iのみでも、大多数の指標で最良または第2位の結果を達成しており、輝度強調部の有効性を示している。
• 完全な2段階手法は、ZeroDCE、KinD++、SCIなどの手法と比較して、滑らかな遷移とより少ないアーチファクトを実現し、最高の視覚的品質を達成した。
• アブレーションスタディにより、グローバルカラー、滑らかさ、構造的類似性の各損失項が最適な性能を発揮するために不可欠であることが確認された。
• モデルは計算効率が高く、KinD、KinD++、EnGANよりもパラメータ数とFLOPsが少ないため、エッジデプロイに適している。
• 視覚的比較では、Self-DACEが明るさが不足する領域を効果的に強調し、明るい領域の過剰露出や色ずれ、エッジアーチファクトを引き起こさないことが示された。