[論文レビュー] SurroundNet: Towards Effective Low-Light Image Enhancement

Fei Zhou, Xin Sun+3 more|arXiv (Cornell University)|Oct 11, 2021

Image Enhancement Techniques参考文献 44被引用数 4

ひとこと要約

本稿では、150Kパラメータ未塔の軽量なディーブラーニングモデルであるSurroundNetを提案する。照明推定のための新規な適応的周囲関数（ASF）と、単一スケールリノックスを特徴空間に拡張する適応的リノックスブロック（ARBlock）を用いて、最先端の性能を達成している。また、強化前にノイズを低減するための低露出ノイズ除去器（LED）を導入しており、実世界のデータセットにおいて品質と効率の両面でSOTA手法を上回っている。

ABSTRACT

Although Convolution Neural Networks (CNNs) has made substantial progress in the low-light image enhancement task, one critical problem of CNNs is the paradox of model complexity and performance. This paper presents a novel SurroundNet which only involves less than 150$K$ parameters (about 80-98 percent size reduction compared to SOTAs) and achieves very competitive performance. The proposed network comprises several Adaptive Retinex Blocks (ARBlock), which can be viewed as a novel extension of Single Scale Retinex in feature space. The core of our ARBlock is an efficient illumination estimation function called Adaptive Surround Function (ASF). It can be regarded as a general form of surround functions and be implemented by convolution layers. In addition, we also introduce a Low-Exposure Denoiser (LED) to smooth the low-light image before the enhancement. We evaluate the proposed method on the real-world low-light dataset. Experimental results demonstrate that the superiority of our submitted SurroundNet in both performance and network parameters against State-of-the-Art low-light image enhancement methods. Code is available at https: github.com/ouc-ocean-group/SurroundNet.

研究の動機と目的

• 低照度画像強化におけるモデルの複雑さと性能のトレードオフを解消すること。
• CNNベースの低照度強化ネットワークにおけるパラメータ数を削減しながら、性能を維持または向上させること。
• 学習可能な効率的な照度推定関数を通じて、リノックス理論からの事前知識をディーブラーニングに統合すること。
• 強化中に画像構造を保持しつつ、ノイズに対してより頑健になること。
• リアルタイムまたはリソース制限のある環境に適した軽量でエンドツーエンドで訓練可能なネットワークを開発すること。

提案手法

• 照度マップ推定のためのスタックド2D畳み込みの代替として、学習可能でパラメータ効率の良い適応的周囲関数（ASF）を提案する。
• ASFを特徴空間に適用する適応的リノックスブロック（ARBlock）を設計し、単一スケールリノックスをディープニューラルネットワークに拡張する。
• 合成された低照度画像で事前学習した専用の低露出ノイズ除去モジュール（LED）を導入し、強化前の入力を滑らかにすることで、ノイズの増幅を低減する。
• パラメータ増加を最小限に抑えて特徴表現を向上させるための効率的チャネルアテンション（ECA）モジュールを採用する。
• 2段階の訓練戦略を採用：まずLEDを低露出画像で事前学習し、次に強化出力の教師付きで全SurroundNetを共同で訓練する。
• 多目的損失として、知覚的および自然画像品質評価指標（PSNR、SSIM、NIQE、LPIPS）を最適化することでネットワークを最適化する。

実験結果

リサーチクエスチョン

• RQ1 学習可能でパラメータ効率の良い周囲関数は、低照度強化における照度推定にスタックド2D畳み込みの代替として機能できるか？
• RQ2 ARBlockを用いて特徴空間にリノックス理論を適用することで、モデルサイズを削減しつつ強化品質を向上させられるか？
• RQ3 低露出データで学習した専用のノイズ除去モジュールは、強化中のノイズ増幅を低減し、耐性を高められるか？
• RQ4 性能（品質とパラメータ数）の観点から、ネットワークの深さ（ARBlockの数）と最適なトレードオフは何か？
• RQ5 ECAアテンションの統合は、モデル複雑度を著しく増加させることなく、特徴表現をどのように向上させるか？

主な発見

• SurroundNetは、150Kパラメータ未塔で実世界の低照度データセットで競争力のある性能を達成しており、SOTA手法の80〜98％のサイズにまで削減されている。
• 4つのARBlockを搭載したモデルは、PSNRが21.77、SSIMが0.835を達成し、3および5個のARBlockを搭載したバージョンよりも多くの指標で優れている。
• 3500エポックの学習を経て、LEDモジュールはSSIMを0.08向上させ、LPIPSを0.013低減させ、ノイズ低減効果が確認された。
• ECAモジュールは、パラメータ増加が3kにとどまる中でPSNRを2.58向上させ、SSIMを0.022向上させ、非常に高い効率性を示した。
• 視覚的比較では、SurroundNetはアーチファクトを生じさせることなく明るさ、色、シャープネスを向上させたが、SOTA手法はハローや低彩度を引き起こす傾向にあった。
• アブレーションスタディにより、ASF、ARBlock、LED、ECAの組み合わせが最良の性能をもたらし、各コンponentが重複していないことが確認された。