[論文レビュー] Attention Guided Low-light Image Enhancement with a Large Scale Low-light Simulation Dataset

Feifan Lv, Yu Li+1 more|arXiv (Cornell University)|Aug 2, 2019

Image Enhancement Techniques参考文献 81被引用数 47

ひとこと要約

本論文は、低照度改善とノイズ除去を同時に行うエンドツーエンドの注意機構ガイド付き多分岐ネットワークを提案し、大規模な合成低照度データセットで学習します。

ABSTRACT

Low-light image enhancement is challenging in that it needs to consider not only brightness recovery but also complex issues like color distortion and noise, which usually hide in the dark. Simply adjusting the brightness of a low-light image will inevitably amplify those artifacts. To address this difficult problem, this paper proposes a novel end-to-end attention-guided method based on multi-branch convolutional neural network. To this end, we first construct a synthetic dataset with carefully designed low-light simulation strategies. The dataset is much larger and more diverse than existing ones. With the new dataset for training, our method learns two attention maps to guide the brightness enhancement and denoising tasks respectively. The first attention map distinguishes underexposed regions from well lit regions, and the second attention map distinguishes noises from real textures. With their guidance, the proposed multi-branch decomposition-and-fusion enhancement network works in an input adaptive way. Moreover, a reinforcement-net further enhances color and contrast of the output image. Extensive experiments on multiple datasets demonstrate that our method can produce high fidelity enhancement results for low-light images and outperforms the current state-of-the-art methods by a large margin both quantitatively and visually.

研究の動機と目的

• ノイズと色の歪みを抑えつつ明るさを回復する、堅牢な低照度改善を動機付ける。
• 対応するグラウンドトゥルース画像と注釈を含む、規模の大きい高忠実度の合成低照度データセットを構築する。
• 露出マップとノイズマップに導かれ、ノイズ除去と処理を同時に行う注意機構ガイド付き多分岐CNNアーキテクチャを開発する。
• 二次的な reinforcement ステップを通じて色彩、コントラスト、細部再現を改善する。
• 定量的および視覚的改善を伴い、複数データセットで最先端の性能を示す。

提案手法

• 通常光画像から現実的な低照度画像を合成する大規模な低照度シミュレーションパイプラインを構築し、ガウス-ポワソン混合ノイズモデルを含める。
• Attention-Net、Noise-Net、Enhancement-Net、および Reinforce-Net の4つのサブネットをもつエンドツーエンドネットワークを提案する。
• ue-attentionマップを用いて露出不足領域を特定し、露出ガイド情報からノイズマップを導出する。
• 注意信号に導かれた複数のエンハンスメントモジュール（EMs） の出力を融合する多分岐Enhancement-Netを実装する。
• 最終出力のコントラストと細部を向上させるため、拡張畳み込みを用いた Reinforce-Net を適用する。
• Attention-Net、Noise-Net、Enhancment-Net、および Reinforce-Net の各成分とそれぞれの項（bright、structural、perceptual、regional）を含む複合損失で訓練する。）

実験結果

リサーチクエスチョン

• RQ1 どのようにして露出不足領域とノイズ分布を効果的に推定し、それを用いて同時に改善とノイズ除去をガイドできるか。
• RQ2 大規模な合成低照度データセットは、さまざまな場面や露出レベルでの改善モデルの一般化を向上させるか。
• RQ3 注意ガイダンスを備えた多分岐ネットワークは、低照度条件での単一分岐や連鎖的なノイズ低減+改善アプローチよりも優れているか。
• RQ4 リインフォースメントステップは初期の改善結果を超える色とコントラストを改善するか。

主な発見

• 提案手法は高忠実度の改善を達成し、複数データセットで最先端の方法を大幅に上回る。
• UE-attentionマップは改善を露出不足領域に効果的に導き出し、適応的なノイズ除去のためのノイズマップの導出にも寄与する。
• Attention-NetとNoise-Netの出力に導かれた多分岐Enhancement-Netは同時のノイズ除去と改善を可能にする。
• Reinforce-Netは色とコントラストを改善し、回帰ベースのアプローチに典型的な低コントラストなアーチファクトに対処する。
• 合成データセットは多様な露出レベル、現実的なノイズ、および訓練と評価に適合するグラウンドトゥルースを提供する。