[論文レビュー] FourLLIE: Boosting Low-Light Image Enhancement by Fourier Frequency Information

Chenxi Wang, Hongjun Wu+1 more|arXiv (Cornell University)|Aug 6, 2023

Image Enhancement Techniques被引用数 7

ひとこと要約

FourLLIE は、周波数ドメインにおける振幅成分の大きさを活用して画像の明るさを向上させる二段階のフーリエベース手法を提案する。また、信号対雑音比（SNR）マップを用いてグローバルなフーリエ特徴とローカルな空間特徴を統合する。最近の変換器ベースの最先端手法と比較して、パラメータの 0.31% のみで最先端の性能を達成しており、複数のベンチマークで高い効率性と有効性を示している。

ABSTRACT

Recently, Fourier frequency information has attracted much attention in Low-Light Image Enhancement (LLIE). Some researchers noticed that, in the Fourier space, the lightness degradation mainly exists in the amplitude component and the rest exists in the phase component. By incorporating both the Fourier frequency and the spatial information, these researchers proposed remarkable solutions for LLIE. In this work, we further explore the positive correlation between the magnitude of amplitude and the magnitude of lightness, which can be effectively leveraged to improve the lightness of low-light images in the Fourier space. Moreover, we find that the Fourier transform can extract the global information of the image, and does not introduce massive neural network parameters like Multi-Layer Perceptrons (MLPs) or Transformer. To this end, a two-stage Fourier-based LLIE network (FourLLIE) is proposed. In the first stage, we improve the lightness of low-light images by estimating the amplitude transform map in the Fourier space. In the second stage, we introduce the Signal-to-Noise-Ratio (SNR) map to provide the prior for integrating the global Fourier frequency and the local spatial information, which recovers image details in the spatial space. With this ingenious design, FourLLIE outperforms the existing state-of-the-art (SOTA) LLIE methods on four representative datasets while maintaining good model efficiency.

研究の動機と目的

• フーリエ周波数情報、特に振幅成分が低照度画像強調に果たす役割を調査すること。
• ニューラルネットワークベースのグローバル特徴抽出の非効率性を解消するため、パラメータフリーのフーリエ変換によるグローバルモデリングを活用すること。
• 周波数ドメインで明るさを向上させ、空間ドメインで詳細を回復するための、SNR に基づく特徴統合を用いた軽量な二段階ネットワークを設計すること。
• 最小限のモデルパラメータで最先端の性能を達成し、品質を損なわず効率性を向上させること。

提案手法

• 本手法はまず、周波数ドメインにおける振幅変換マップを推定し、振幅スペクトルの大きさをスケーリングすることで画像の明るさを向上させる。
• 第二段階で、信号対雑音比（SNR）マップを導入し、グローバルなフーリエ特徴とローカルな空間特徴の統合をガイドする。
• SNR マップは、特徴統合時に情報量の多い領域を効果的に強調する事前知識として機能し、詳細回復を向上させる。
• 構造的および知覚的品質を保持するため、L1 損失、VGG を用いた知覚的損失、および空間損失の組み合わせでネットワークを訓練する。
• 周波数段階は完全に周波数ドメインで動作し、MLP や変換器のようなパラメータ集約型モジュールを回避する。
• アーキテクチャは軽量に設計されており、最近の SOTA 変換器ベース手法の 0.31% のみのパラメータで、高い性能を維持している。

実験結果

リサーチクエスチョン

• RQ1 フーリエドメインにおける振幅成分の大きさを用いることで、低照度画像の明るさを効果的に向上させることができるか？
• RQ2 MLP や変換器などのニューラルネットワークベースのグローバルモデリングと比較して、フーリエベースのグローバル特徴抽出はパラメータ効率性と性能の点で優れているか？
• RQ3 信号対雑音比（SNR）マップは、グローバル周波数特徴とローカル空間特徴の統合を効果的にガイドできるか？
• RQ4 周波数ドメインで明るさを向上させ、その後空間ドメインで詳細を精緻化する二段階設計は、エンドツーエンドの空間手法よりも優れた結果をもたらすか？
• RQ5 提案手法はペアドおよび非ペアドの低照度画像データセットに一般化して適応できるか？

主な発見

• FourLLIE は、LOL-Real、LOL-Synthetic、LSRW-Huawei、LSRW-Nikon の4つのベンチマークデータセットで最先端の性能を達成し、それぞれ PSNR が 22.34、24.65、21.30、17.82 であった。
• LOL-Real データセットでは、PSNR 22.34、SSIM 0.8468 を達成し、以前の SOTA メソッドを上回った。
• 本手法は高い効率性を維持しており、最近の SNR に配慮した変換器ベースの SOTA 手法と比較して、パラメータの 0.31% のみで優れた性能を発揮した。
• アブレーションスタディの結果、周波数段階と SNR に基づく統合の両方が不可欠であることが確認され、いずれかを除去すると性能が著しく低下した。
• DICM や LIME のような非ペアドデータセットに対しても、アーチファクトが少なく、明瞭なテクスチャを有する視覚的に優れた結果を生成し、良好な一般化性能を示した。
• SICE データセットにおける露出補正への応用拡張においても、PSNR と SSIM の両面で既存手法を上回る強力な性能を示し、本手法の広範な適用可能性を裏付けた。