[論文レビュー] Embedding Fourier for Ultra-High-Definition Low-Light Image Enhancement

Chongyi Li, Chunle Guo+5 more|arXiv (Cornell University)|Feb 23, 2023

Advanced Image Processing Techniques被引用数 43

ひとこと要約

本論文は、UHDFourを提示する。これはフーリエドメインの埋め込みネットワークで、UHDの低照度画像強化において輝度とノイズを別々に処理し、初の実データUHD LLIEデータセット UHD-LLを提示する。

ABSTRACT

Ultra-High-Definition (UHD) photo has gradually become the standard configuration in advanced imaging devices. The new standard unveils many issues in existing approaches for low-light image enhancement (LLIE), especially in dealing with the intricate issue of joint luminance enhancement and noise removal while remaining efficient. Unlike existing methods that address the problem in the spatial domain, we propose a new solution, UHDFour, that embeds Fourier transform into a cascaded network. Our approach is motivated by a few unique characteristics in the Fourier domain: 1) most luminance information concentrates on amplitudes while noise is closely related to phases, and 2) a high-resolution image and its low-resolution version share similar amplitude patterns.Through embedding Fourier into our network, the amplitude and phase of a low-light image are separately processed to avoid amplifying noise when enhancing luminance. Besides, UHDFour is scalable to UHD images by implementing amplitude and phase enhancement under the low-resolution regime and then adjusting the high-resolution scale with few computations. We also contribute the first real UHD LLIE dataset, extbf{UHD-LL}, that contains 2,150 low-noise/normal-clear 4K image pairs with diverse darkness and noise levels captured in different scenarios. With this dataset, we systematically analyze the performance of existing LLIE methods for processing UHD images and demonstrate the advantage of our solution. We believe our new framework, coupled with the dataset, would push the frontier of LLIE towards UHD. The code and dataset are available at https://li-chongyi.github.io/UHDFour.

研究の動機と目的

• フーリエドメインの特性を活用することで、超高精細（UHD）画像の効率的なLLIEを動機づける。
• 輝度（振幅）とノイズ（位相）を分離して、輝度強化時のノイズ増幅を回避する。
• 振幅パターンが解像度を問わず類似していることを示し、低解像度処理と高解像度補正を組み合わせることを可能にする。
• 実データのUHD LLIEデータセット（UHD-LL）を導入し、UHDデータ上で既存のLLIE手法をベンチマークする。

提案手法

• フーリエ変換を階層的ネットワーク（LRNetとHRNet）に埋め込み、振幅と位相を別々に強化する。
• フー・スパ（FouSpa）ブロックを用い、 Fourierドメインで振幅と位相を処理する空間ブランチと同時に扱う。
• LRNetでは、解像度を1/8にダウンサンプルし、洗練された振幅A_rと位相P_rを抽出して低解像度のRGB画像y_8を推定する。
• HRNetでは、洗練されたフーリエ特徴を用いて振幅変調（AM）と位相案内（PG）を含む調整ブロックを適用し、その後高解像度へアップサンプルして最終画像yを得る。
• L1、y_8に対する知覚損失、そしてyに対するSSIMとVGGベースの損失を組み合わせたハイブリッド損失で訓練する。

実験結果

リサーチクエスチョン

• RQ1 輝度とノイズのフーリエドメイン分解は、空間ドメイン法と比較してUHD画像のLLIEを改善できるか？
• RQ2 フーリエベースの調整を備えた低解像度処理段階で、計算量を削減しつつ高品質なUHD結果を得られるか？
• RQ3 実データのUHD-LLが、UHDデータ上の既存LLIE手法の限界をどのように照らし出すか？
• RQ4 最終性能に対するフーリエブランチと空間ブランチ、および調整ブロックの各構成要素の寄与度はどれくらいか？

主な発見

• UHD-LLで再訓練した場合、UHDFourはUHD LLIEで最先端の性能を達成し、例としてPSNR 26.226、SSIM 0.900、LPIPS 0.239。
• UHDFourは、ほとんどの計算が低解像度空間（LRNet）で行われるため、UHD入力時に最も速く動作する。
• 再訓練された他手法（例：SNR-Aware、Uformer、Restormer）と比較して、UHDFourはUHD-LLデータセットで最高のPSNR/SSIM/LPIPSを達成する。
• アブレーション研究は、フーリエブランチまたは調整ブロックの要素を削除すると性能が低下することを示しており、フーリエドメイン処理とLR-to-HR融合の必要性を強調している。