[論文レビュー] DALE : Dark Region-Aware Low-light Image Enhancement

Dokyeong Kwon, Guisik Kim+1 more|arXiv (Cornell University)|Aug 28, 2020

Image Enhancement Techniques参考文献 40被引用数 10

ひとこと要約

本稿では、明るい領域の色調と明るさを保持しながら、暗い領域にのみ選択的に強調するための、スーパーピクセルに基づく視覚的注意モジュールを用いた、暗黒領域に配慮した低照度画像強調手法DALEを提案する。トレーニングに局所的照度を適用したスーパーピクセルを合成することで、定量的指標および視覚的品質の両面で最先端の性能を達成し、既存手法に比べ明るさの保持と詳細回復の面で優れている。

ABSTRACT

In this paper, we present a novel low-light image enhancement method called dark region-aware low-light image enhancement (DALE), where dark regions are accurately recognized by the proposed visual attention module and their brightness are intensively enhanced. Our method can estimate the visual attention in an efficient manner using super-pixels without any complicated process. Thus, the method can preserve the color, tone, and brightness of original images and prevents normally illuminated areas of the images from being saturated and distorted. Experimental results show that our method accurately identifies dark regions via the proposed visual attention, and qualitatively and quantitatively outperforms state-of-the-art methods.

研究の動機と目的

• 低照度画像強調におけるグローバル照度の制限を是正すること。特に、明るい領域の彩度過剰上昇を防ぐこと。
• 強調が必要な暗い領域を正確に同定できる視覚的注意メカニズムの開発。
• グローバル照度ではなく、局所的照度を持つスーパーピクセルデータを用いてトレーニングすることで、低照度画像強調の性能を向上させること。
• 強調処理において、明るくない領域のトーン、色調、明るさを保持すること。
• 今後の研究やモデル再トレーニングを支援するため、新しい局所的照度付き画像データセットを公開すること。

提案手法

• 複雑な計算を伴わずに、局所的照度のニーズを推定できる、スーパーピクセルを用いた暗黒領域に配慮した視覚的注意モジュールを提案する。
• 各スーパーピクセルに異なるレベルの局所的照度を適用することで、現実的な低照度画像を合成し、トレーニングデータを生成する。
• 局所的照度の適用により、リアルさと詳細の質を向上させるために、PatchGAN識別器を用いた adversarial learning を用いて深層畳み込みニューラルネットワークをトレーニングする。
• 入力の低照度画像から強調画像を予測するため、U-Netベースのジェネレータネットワークを採用する。
• 忠実度とリアルさのバランスを取るために、L1損失、知覚的損失、 adversarial 損失を組み合わせたマルチスケール損失関数を採用する。
• 注意を向ける領域をガイドするため、局所的照度を持つスーパーピクセルを用いた、新規なトレーニングパラダイムを導入する。

実験結果

リサーチクエスチョン

• RQ1 局所的照度を持つスーパーピクセルでトレーニングされた視覚的注意モジュールは、低照度画像における暗い領域を効果的に同定できるか？
• RQ2 注意を用いて暗い領域にのみ強調を施すことで、明るい領域の明るさを保持しながら画像品質が向上するか？
• RQ3 局所的照度を持つトレーニングデータセットは、グローバル照度データセットに比べ、より優れた汎化性能と性能をもたらすか？
• RQ4 NIQE、BRISQUE、LOEといった客観的指標および知覚的品質の観点から、DALEは最先端手法に比べて優れているか？
• RQ5 提案手法は、強調後の画像で彩度過剰上昇や色の歪みを回避できるか？

主な発見

• テストセットにおいて、DALEはBRISQUEスコア21.4を達成し、EnlightenGAN（22.2）やBIMEF（19.6）を含むすべてのSOTA手法を上回った。
• LOE評価では678.7を記録し、BIMEF（308.12）よりも顕著に低く、明るさの保持と歪みの低減が優れていることを示した。
• NIQEスコアは3.78と2番目に高く、画像品質と自然さの両面で優れた性能を示した。
• DALEが生成した視覚的注意マップは、影の中の人物などの暗い領域を正確に強調し、空のような明るい領域は無視していた。
• 定性的な結果では、DALEはLIME、BIMEF、EnlightenGANを上回り、詳細の保持と色の正確性に優れており、彩度過剰上昇を回避していた。
• 提案された局所的照度付き画像データセットは、今後の研究やモデル再トレーニングを支援するため、公開された。