[論文レビュー] Self-supervised Low Light Image Enhancement and Denoising

Yu Zhang, Xiaoguang Di+4 more|arXiv (Cornell University)|Mar 1, 2021

Image Enhancement Techniques参考文献 32被引用数 18

ひとこと要約

本稿では、画像コントラスト強調ネットワーク（ICE-Net）と再強調・ノイズ低減ネットワーク（RED-Net）を用いた自己教師あり2段階の深層学習フレームワークを、低照度画像の強調とノイズ低減のために提案する。最大エントロピーに基づくリティノールドモデルとノイズの独立性仮定を活用することで、ペaired学習データが存在しない状況下でも最先端の視覚的品質とノイズ低減性能を達成し、詳細の保持とデバイス間の適応性において教師あり手法を上回る。

ABSTRACT

This paper proposes a self-supervised low light image enhancement method based on deep learning, which can improve the image contrast and reduce noise at the same time to avoid the blur caused by pre-/post-denoising. The method contains two deep sub-networks, an Image Contrast Enhancement Network (ICE-Net) and a Re-Enhancement and Denoising Network (RED-Net). The ICE-Net takes the low light image as input and produces a contrast enhanced image. The RED-Net takes the result of ICE-Net and the low light image as input, and can re-enhance the low light image and denoise at the same time. Both of the networks can be trained with low light images only, which is achieved by a Maximum Entropy based Retinex (ME-Retinex) model and an assumption that noises are independently distributed. In the ME-Retinex model, a new constraint on the reflectance image is introduced that the maximum channel of the reflectance image conforms to the maximum channel of the low light image and its entropy should be the largest, which converts the decomposition of reflectance and illumination in Retinex model to a non-ill-conditioned problem and allows the ICE-Net to be trained with a self-supervised way. The loss functions of RED-Net are carefully formulated to separate the noises and details during training, and they are based on the idea that, if noises are independently distributed, after the processing of smoothing filters (\eg mean filter), the gradient of the noise part should be smaller than the gradient of the detail part. It can be proved qualitatively and quantitatively through experiments that the proposed method is efficient.

研究の動機と目的

• ペアドの実世界の訓練データが存在しない状況下でも、同時にコントラスト向上とノイズ低減を実現する低照度画像強調の課題に対処すること。
• 教師ありデータに依存しないように、低照度画像のみを用いた自己教師あり訓練を可能にすること。
• ぼかしが発生する前処理／後処理のノイズ低減パイプラインを回避しつつ、微細なディテールやエッジを保持すること。
• 再トレーニングやラベル付きリファレンスを必要とせず、多様なデバイス、照明条件、画像コンテンツに耐性を持つ手法を開発すること。
• 自然画像の事前知識や露出ベースのリファレンス画像を仮定しないことで、一般化性能と実世界への適用性を向上させること。

提案手法

• ICE-Netは、反射率画像の最大チャネルが入力の低照度画像と一致し、エントロピーを最大化する最大エントロピーに基づくリティノールド（ME-Retinex）モデルにより訓練され、反射率と照度の不適切な分解を安定化させる。
• ME-Retinexモデルは、反射率の最大チャネルを入力画像に関連付けることで、病的な条件を回避する制約を導入し、自己教師あり訓練を可能にする。
• RED-Netは、ICE-Netの出力と元の低照度画像を用いて再強調とノイズ低減を実行し、ノイズが画素ごとに独立に分布すると仮定している。
• RED-Netにおけるノイズと構造的ディテールの分離は、平滑化フィルタ後の勾配を分析することで達成される。ノイズの勾配はディテールの勾配よりも小さくなるため、損失関数における勾配に基づく重み付けが可能になる。
• RED-Netの損失関数は、エッジやディテールの勾配を強調することでコントラストを向上させるように設計されており、従来の手法がエッジの保持にとどまっているのとは異なる。
• 両ネットワークは、ノイズと反射率に関する物理的仮定に基づく自己教師あり損失関数を用いてエンドツーエンドで訓練され、真値画像の必要がない。

実験結果

リサーチクエスチョン

• RQ1 ペアドの実世界のリファレンス画像が存在しない状況下でも、低照度画像の強調とノイズ低減を効果的に訓練できるか？
• RQ2 自己教師ありフレームワークは、低照度条件下で高いコントラストとディテール保持を維持しながらノイズを低減できるか？
• RQ3 真値ラベルが存在しない状況下で、ノイズと構造的ディテールをどのように分離できるか？
• RQ4 コントラスト強調ネットワークの出力を再強調することで、後処理と比較してノイズ低減とディテール回復が向上するか？
• RQ5 再トレーニングを必要とせず、異なるデバイスや照明条件下でも一般化できるか？

主な発見

• LOLデータセットにおいて、本手法はPSNRが18.34を達成し、KinD（17.64）とRetinex-Net（16.82）を上回り、優れたノイズ抑制性能を示している。
• LOLデータセットでは、SSIMが0.65を記録し、LIME（0.60）、RRM（0.66）、Retinex-Net（0.57）を上回り、構造的類似性が優れている。
• 視覚的比較において、本手法は低照度画像におけるテキストや微細構造（例：本棚や影の中の顔のディテール）の保持がLIME や Retinex-Net よりも優れている。
• 教師あり最先端手法（例：KinD）と比較して、特にエッジのシャープネスとノイズ低減において競争力のある結果を達成しているが、自己教師ありであるにもかかわらず。
• NIQEスコアがLOLで4.33と、自然画像統計から逸脱していることが示され、損失関数に自然画像の事前知識が欠如していることが原因で、画像の自然さに欠ける可能性がある。
• 前処理／後処理のノイズ低減パイプラインに起因するぼかしを効果的に回避し、非一様な照度や高ノイズ環境下でも高品質な強調を維持している。