[論文レビュー] Dual Degradation Representation for Joint Deraining and Low-Light Enhancement in the Dark

Xin Lin, Jingtong Yue+4 more|arXiv (Cornell University)|May 6, 2023

Image Enhancement Techniques被引用数 4

ひとこと要約

本稿では、現実の雨の降る暗い状況下で、一括処理で低照度強調とレインリムーブを同時に実行するエンドツーエンドのディーブラーニングフレームワーク、$L^{2}RIRNet$ を提案する。明るい領域と暗い領域の劣化を別々にモデル化するためのペアワイズ劣化特徴ベクトル抽出ネットワーク（P-Net）と、テクスチャPRIORを提供するファストフーリエ・リスネットディテールガイダンス（FFR-DG）モジュールを採用することで、合成データおよび現実世界データの両方で最先端の性能を達成し、PSNR、SSIM、NIQEの指標において、カスケード型および単一タスク手法を上回った。

ABSTRACT

Rain in the dark poses a significant challenge to deploying real-world applications such as autonomous driving, surveillance systems, and night photography. Existing low-light enhancement or deraining methods struggle to brighten low-light conditions and remove rain simultaneously. Additionally, cascade approaches like ``deraining followed by low-light enhancement'' or the reverse often result in problematic rain patterns or overly blurred and overexposed images. To address these challenges, we introduce an end-to-end model called L$^{2}$RIRNet, designed to manage both low-light enhancement and deraining in real-world settings. Our model features two main components: a Dual Degradation Representation Network (DDR-Net) and a Restoration Network. The DDR-Net independently learns degradation representations for luminance effects in dark areas and rain patterns in light areas, employing dual degradation loss to guide the training process. The Restoration Network restores the degraded image using a Fourier Detail Guidance (FDG) module, which leverages near-rainless detailed images, focusing on texture details in frequency and spatial domains to inform the restoration process. Furthermore, we contribute a dataset containing both synthetic and real-world low-light-rainy images. Extensive experiments demonstrate that our L$^{2}$RIRNet performs favorably against existing methods in both synthetic and complex real-world scenarios. All the code and dataset can be found in \url{https://github.com/linxin0/Low_light_rainy}.

研究の動機と目的

• 既存の単一タスクまたはカスケード型手法が効果的に処理できない、低照度雨天画像の同時修復の課題に取り組む。
• カスケード型手法の限界を克服し、低照度条件下で過剰露出、不十分露出、残留レインパターン、ぼやけなどを引き起こさない。
• 暗い領域と明るい領域の両方における複雑な現実世界の劣化パターンを効果的に処理できる統合フレームワークを開発する。
• 対照的学習を用いて、低照度領域と明るい領域における劣化特性の差を捉える、新たな劣化表現を導入する。
• 新規のディテールガイダンスモジュールを用いて、テクスチャおよび周波数ドメインPRIOR知識を統合し、画像修復を向上させる。

提案手法

• P-Netとリカバリーネットワーク（R-Net）から構成される、U-Netベースのエンドツーエンドアーキテクチャである$L^{2}RIRNet$を提案する。
• P-Netは共有エンコーダーを用いて、暗い領域と明るい領域のそれぞれについて劣化特徴ベクトルを別々に抽出し、対照的学習を活用してガイダンスの正確性を向上させる。
• チャネル単位の減算と連結によってディテール画像を生成する、ファストフーリエ・リスネットディテールガイダンス（FFR-DG）モジュールを導入し、テクスチャを保持するとともにレインおよび照明アーチファクトを抑制する。
• FFR-DGモジュールはフーリエ変換を用いて空間的および周波数ドメイン特徴を融合し、R-Netに頑健なPRIOR情報を提供する。
• P-Netでは二重ブランチ特徴学習戦略を採用し、画像全体における非一様な劣化分布をモデル化することで、修復の忠実度を向上させる。
• 一般化性能を向上させるために、合成および現実世界の低照度雨天画像ペアを組み合わせた新規データセットを用いてモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 統合的なディーブラーニングフレームワークは、カスケード型または単一タスク手法を上回る性能で、低照度強調とレインリムーブを同時に効果的に処理できるか？
• RQ2 暗い領域と明るい領域の劣化特徴を別々にモデル化することで、単一の統合表現と比較して、修復性能がどのように向上するか？
• RQ3 周波数ドメインおよび空間的ディテールPRIORを統合することで、低照度雨天条件下での画像修復がどの程度向上するか？
• RQ4 提案されたFFR-DGモジュールは、ぼやけや残留レインストリークなどのアーチファクトを低減し、ディテール回復を顕著に改善するか？
• RQ5 モデルは合成および現実世界の低照度雨天画像の分布に対して、どの程度一般化性能を示すか？

主な発見

• $L^{2}RIRNet$ は合成LLRデータセットで最高のPSNR（29.96 dB）とSSIMを達成し、すべてのベースラインおよびカスケード手法を顕著に上回った。
• 現実世界のLLRデータセットでは、$L^{2}RIRNet$ がNIQEスコア13.881を記録し、他の手法と比較して優れた知覚的品質を示した。
• アブレーションスタディの結果、P-Netを追加することで、単一ブランチの劣化特徴抽出と比較してPSNRが0.58 dB向上し、二重領域モデリングの価値が裏付けられた。
• FFR-DGモジュールの導入により、P-Netオンリーバリエーションと比較してPSNRが0.84 dB向上し、ディテール回復におけるその重要な役割が示された。
• SOTAモデル（例：MIRNet、RCDNet）をLLRデータセットで再訓練しても、$L^{2}RIRNet$ は定量的および定性的な両評価で優れた性能を維持した。
• 視覚的結果から、$L^{2}RIRNet$ は過剰露出やぼやけを引き起こさずにレインストリークを効果的に除去し、暗い領域の可視性を回復していることが確認された。カスケード手法とは異なり、残留アーチファクトが残らない。