[論文レビュー] Deep Bilateral Retinex for Low-Light Image Enhancement

Jinxiu Liang, Yong Xu+4 more|arXiv (Cornell University)|Jul 4, 2020

Image Enhancement Techniques参考文献 50被引用数 16

ひとこと要約

本稿では、空間的に変化する測定ノイズに対して高い耐性を示す、低照度画像強調のためのディープなバイラテラルリティナックス手法を提案する。この手法は、バイラテラル空間内での可変畳み込みを用いて、照度とノイズを同時に推定することで、著しく高い耐性を実現する。統一された深層学習フレームワークを用い、エッジに配慮した損失関数と構造的プライオリティを組み合わせることで、極めて低照度条件下でも最先端の性能を達成する。

ABSTRACT

Low-light images, i.e. the images captured in low-light conditions, suffer from very poor visibility caused by low contrast, color distortion and significant measurement noise. Low-light image enhancement is about improving the visibility of low-light images. As the measurement noise in low-light images is usually significant yet complex with spatially-varying characteristic, how to handle the noise effectively is an important yet challenging problem in low-light image enhancement. Based on the Retinex decomposition of natural images, this paper proposes a deep learning method for low-light image enhancement with a particular focus on handling the measurement noise. The basic idea is to train a neural network to generate a set of pixel-wise operators for simultaneously predicting the noise and the illumination layer, where the operators are defined in the bilateral space. Such an integrated approach allows us to have an accurate prediction of the reflectance layer in the presence of significant spatially-varying measurement noise. Extensive experiments on several benchmark datasets have shown that the proposed method is very competitive to the state-of-the-art methods, and has significant advantage over others when processing images captured in extremely low lighting conditions.

研究の動機と目的

• 低照度画像における顕著で空間的に変化する測定ノイズの課題に対処すること。これは、標準的な強調手法の可視性を低下させ、アーチファクトを増幅させる。
• リティナックスに基づく画像強調を改善するため、反射率、照度、ノイズ層を別々に扱う代わりに、同時に推定すること。
• 照度とノイズの密接な関係を、バイラテラル空間表現を用いてモデル化する深層学習フレームワークを開発すること。
• 信号対ノイズ比（SNR）が非常に低い極めて低照度条件下での耐性を高めること。この状況では従来の手法が失敗する。
• リティナックス分解中にノイズ増幅を低減するため、照度推定とともに明示的にノイズ予測を学習すること。

提案手法

• 本手法はバイラテラル空間内でリティナックス分解を実行し、画像を I = R ⊙ E + N としてモデル化する。ここで R は反射率、E は照度、N は測定ノイズを表す。
• ピクセル単位のオペレータをバイラテラル空間に定義し、深層ニューラルネットワークを用いて照度 E とノイズ N を同時に予測する。
• 空間的に適応的なサンプリングパターンを学習可能とするために、可変畳み込みが採用され、固定または剛性な受容 field よりもノイズとテクスチャの区別が明確になる。
• 損失関数にはエッジに配慮した勾配損失（ℓ_grad）、構造的類似性（SSIM）損失、照度（ℒ_e）およびノイズ（ℒ_n）の正則化項が組み合わされ、滑らかさの観点から ℓ1 範囲が好まれる。
• 可変畳み込みには、マルチスケールで指数関数的窓サイズを採用し、15×15 の受容 field が最適であると判明した。
• アブレーションスタディにより、E と N の同時推定の必要性が確認され、照度の滑らかさを保つために ℓ1 正則化が ℓ2 より優れていることが示された。

実験結果

リサーチクエスチョン

• RQ1 バイラテラル空間内での照度とノイズの同時推定は、空間的に変化する測定ノイズに対して、低照度画像の耐性を向上させ得るか？
• RQ2 学習されたサンプリング位置を有する可変畳み込みは、固定または剛性な受容 field と比較して、ノイズとテクスチャの区別に優れているか？
• RQ3 リティナックス分解中にノイズを明示的にモデル化することは、後処理によるノイズ除去やノイズなし画像の推定と比較して、より優れた性能を発揮するか？
• RQ4 エッジを保持し、滑らかな照度を実現しながらノイズを抑制する最適な損失関数構成は何か？
• RQ5 提案手法は、最先端の手法と比較して、極めて低照度条件下でどのように性能を発揮するか？

主な発見

• ベンチマークデータセット上、本手法は PSNR 22.5156 dB および SSIM 0.7864 を達成し、DeepUPE や他の SOTA 手法を上回った。
• 照度とノイズの同時推定は、ノイズなし画像 I−N を推定する手法よりも顕著に優れており、PSNR で 1.47 dB の向上を示した。
• 15×15 の受容 field を有する可変畳み込みの使用が最良の性能をもたらし、適応的空間モデリングの重要性を示した。
• 勾配に配慮した損失（ℓ_grad）や照度正則化（ℒ_e）を除去すると、顕著なアーチファクトと性能低下が生じた。
• 照度の ℓ1 範囲正則化は ℓ2 よりも効果的であり、平坦領域での過剰適合を低減し、滑らかさを維持した。
• 極めて低照度条件下でも、他の手法がノイズ増幅と詳細回復の悪化に苦しむ中、本手法は優れた性能を発揮した。