[論文レビュー] Progressive Retinex: Mutually Reinforced Illumination-Noise Perception Network for Low Light Image Enhancement

Yang Wang, Yang Cao+5 more|arXiv (Cornell University)|Nov 26, 2019

Image Enhancement Techniques参考文献 43被引用数 16

ひとこと要約

本稿では、完全なポイントワイズ畳み込みニューラルネットワークを用いて、相互に強化された認識を通じて、低照度画像における照度とノイズを同時にモデル化するプログレッシブ・リティナックスフレームワークを提案する。照度とノイズの統計的規則性を活用することで、定量的指標および視覚的品質の両面で最先端の手法を上回る優れたコントラスト強調とノイズ抑制を達成し、高い計算効率を維持している。

ABSTRACT

Contrast enhancement and noise removal are coupled problems for low-light image enhancement. The existing Retinex based methods do not take the coupling relation into consideration, resulting in under or over-smoothing of the enhanced images. To address this issue, this paper presents a novel progressive Retinex framework, in which illumination and noise of low-light image are perceived in a mutually reinforced manner, leading to noise reduction low-light enhancement results. Specifically, two fully pointwise convolutional neural networks are devised to model the statistical regularities of ambient light and image noise respectively, and to leverage them as constraints to facilitate the mutual learning process. The proposed method not only suppresses the interference caused by the ambiguity between tiny textures and image noises, but also greatly improves the computational efficiency. Moreover, to solve the problem of insufficient training data, we propose an image synthesis strategy based on camera imaging model, which generates color images corrupted by illumination-dependent noises. Experimental results on both synthetic and real low-light images demonstrate the superiority of our proposed approaches against the State-Of-The-Art (SOTA) low-light enhancement methods.

研究の動機と目的

• 低照度画像強調におけるコントラスト強調とノイズ抑制の連携問題に対処すること。
• 照度と画像ノイズの統計的規則性をモデル化して推定精度を向上させること。
• 照度とノイズの特徴を同時に学習することで、曖昧な微細なテクスチャやノイズからの干渉を低減すること。
• 完全なポイントワイズ畳み込みアーキテクチャを用いて計算効率を向上させること。
• データ不足に対処するため、カメラ画像モデルに基づく画像合成戦略を提案すること。

提案手法

• 環境照度と画像ノイズの統計的規則性を別々にモデル化する2つの完全なポイントワイズ畳み込みニューラルネットワークを設計した。
• これらのネットワークをプログレッシブ・リティナックスフレームワークに統合し、照度とノイズ認識の相互強化を可能にした。
• 低照度画像強調を次の連立最適化問題として定式化した：I = R ∘ L + n、ここでRは反射率、Lは照度、nはノイズである。
• カメラ画像モデルに基づく新しい画像合成戦略により、訓練用に照度依存のノイズを有するリアルな低照度画像を生成した。
• ポイントワイズ畳み込みを用いることで、CPUおよびGPU上での高速推論を実現する高い計算効率を確保した。
• 後処理を回避するために、ノイズ抑制を強調パイプラインに直接統合し、過剰または不十分な平滑化を低減した。

実験結果

リサーチクエスチョン

• RQ1 照度とノイズをどのように同時にモデル化することで、低照度画像強調の性能を向上させられるか？
• RQ2 照度とノイズの相関を無視した場合、強調品質にどのような影響が生じるか？
• RQ3 深層ネットワークを用いて照度とノイズの統計的規則性を効果的に学習できるか？
• RQ4 強調品質を向上させながらも、計算効率を維持できるか？
• RQ5 現実的なノイズを有する合成低照度画像を生成することで、データ不足を緩和できるか？

主な発見

• 提案手法は、合成および実際の低照度データセットの両方で最高の性能を達成し、PSNR、SSIM、FSIMの指標において最先端の手法を上回った。
• LOLデータセットでは、PSNRが19.77、FSIMが0.9456を達成し、前回の最良手法（Cai et al., 2018）を上回った。
• 強調画像における残存ノイズを低減し、従来の手法で一般的な過剰または不十分なノイズ除去の問題を回避した。
• CPU上では129×129×3の画像を0.46秒、GPU上では0.03秒で処理でき、類似のCNNベースの手法（Cai et al., 2018）と比べて50倍速くなった。
• 視覚的結果では過剰露出や色かぶりがなく、効果的な照度モデル化とノイズ抑制が実現されていることが示された。
• カメラ画像モデルに基づく画像合成戦略は、現実的な照度依存ノイズを有する訓練データを効果的に生成した。