[論文レビュー] Unsupervised Low-Light Image Enhancement via Histogram Equalization Prior

Feng Zhang, Yuanjie Shao+4 more|arXiv (Cornell University)|Dec 3, 2021

Image Enhancement Techniques被引用数 25

ひとこと要約

要約: 本論文は、ヒストグラム均等化をガイドする教師なし前処理を用い、Retinexベースの分解とノイズ分離モジュールを組み合わせて低照度画像を改善する枠組みを提案し、教師なし手法の中で最先端の結果を達成し、監視付き手法にも匹敵します。

ABSTRACT

Deep learning-based methods for low-light image enhancement typically require enormous paired training data, which are impractical to capture in real-world scenarios. Recently, unsupervised approaches have been explored to eliminate the reliance on paired training data. However, they perform erratically in diverse real-world scenarios due to the absence of priors. To address this issue, we propose an unsupervised low-light image enhancement method based on an effective prior termed histogram equalization prior (HEP). Our work is inspired by the interesting observation that the feature maps of histogram equalization enhanced image and the ground truth are similar. Specifically, we formulate the HEP to provide abundant texture and luminance information. Embedded into a Light Up Module (LUM), it helps to decompose the low-light images into illumination and reflectance maps, and the reflectance maps can be regarded as restored images. However, the derivation based on Retinex theory reveals that the reflectance maps are contaminated by noise. We introduce a Noise Disentanglement Module (NDM) to disentangle the noise and content in the reflectance maps with the reliable aid of unpaired clean images. Guided by the histogram equalization prior and noise disentanglement, our method can recover finer details and is more capable to suppress noise in real-world low-light scenarios. Extensive experiments demonstrate that our method performs favorably against the state-of-the-art unsupervised low-light enhancement algorithms and even matches the state-of-the-art supervised algorithms.

研究の動機と目的

• ペアデータなしで事前知識を活用し、教師なしの低照度改善を促進する。
• ヒストグラム均等化前提（HEP）を導入し、反射成分-照明分解をガイド。
• 画像を照明と反射成分に分解し、分離表現で反射成分をノイズからデノイズ。
• ヒストグラム均等化強化画像との知覚的類似性とノイズ/内容の分離を用いて訓練を正則化。
• 提案手法が最先端の手法と比肩する定量・定性的性能を示す。

提案手法

• ヒストグラム均等化前提（HEP）を、ground-truthスタイル画像とのVGG conv4_1特徴類似性で評価。
• Light Up Module (LUM)を用い、Retinex理論の下で低照度画像を反射成分と照明マップに分解。
• 照明マップの構造を保持しつつテクスチャを抑制する照明平滑性損失を適用。
• 内容とノイズのエンコーダを備えたNoise Disentanglement Module (NDM)を追加し、反射マップのノイズを内容から分離。
• ノイズ特徴を標準正規分布に従うようKL発散で制約し、ノイズ中の内容流出を低減。
• NDMには敵対的損失、サイクル一貫性、知覚的損失、色再現性、マルチスケール背景損失を組み込み、現実的なデノイズとディテール回復を実現。

実験結果

リサーチクエスチョン

• RQ1 ヒストグラム均等化由来の特徴は、ペアデータなしで低照度改善を導く信頼できる教師なし前処理として機能するか。
• RQ2 反射-照明分解をノイズ分離と組み合わせて、現実世界の低照度画像でノイズを抑えつつ細部を回復できるか。
• RQ3 提案された事前知識とモジュールは、標準ベンチマークで教師あり手法と競合する性能を十分に改善するか。
• RQ4 HEP、照明平滑化、KL、敵対的、知覚的などの損失が復元品質に与える影響はどの程度か。

主な発見

方法	PSNR	SSIM	NIQE
入力	7.77	0.191	6.749
HE [1]	14.95	0.409	8.427
LIME [19]	17.18	0.484	8.221
Retinex-Net [10]	16.77	0.425	8.879
KinD++ [11]	21.32	0.829	5.120
Zero-DCE [6]	14.86	0.562	7.767
EnlightenGAN [7]	17.48	0.652	4.684
Self-Supervised [8]	19.13	0.651	4.702
本手法	20.23	0.790	3.780

• 提案手法は、LOLテストセットにおいて教師なし法の中で最も高いPSNR（20.23 dB）、SSIM（0.790）、NIQE（3.780）を達成。
• 監視付き手法との差を縮め、最先端の監視付き手法に近い性能を示す。
• HEPはヒストグラム均等化画像の特徴を深層ネットワーク内のground-truth風表現と整合させ、復元の指向性を改善。
• NDMはノイズを内容から効果的に分離し、高品質なデノイズ画像とより良い質感の保持を実現。
• 複数データセットで定量的にNIQEが優れ、実世界の低照度画像において視覚品質も競合的である。