[論文レビュー] R2RNet: Low-light Image Enhancement via Real-low to Real-normal Network

Hai Jiang, Xuan Zhu+5 more|arXiv (Cornell University)|Jun 28, 2021

Image Enhancement Techniques参考文献 53被引用数 17

ひとこと要約

R2RNetは、Retinex理論に基づく深層学習フレームワークを提案し、画像を照度マップと反射率マップに分解し、反射率をノイズ除去し、空間領域および周波数領域の特徴を用いてコントラストを向上させる。ベンチマークデータセットで最先端の性能を達成し、顔検出の精度を顕著に向上させる。その背景には、最初のスケールの大きな実世界のペアド低照度／通常照度データセット（LSRW）が存在する。

ABSTRACT

Images captured in weak illumination conditions could seriously degrade the image quality. Solving a series of degradation of low-light images can effectively improve the visual quality of images and the performance of high-level visual tasks. In this study, a novel Retinex-based Real-low to Real-normal Network (R2RNet) is proposed for low-light image enhancement, which includes three subnets: a Decom-Net, a Denoise-Net, and a Relight-Net. These three subnets are used for decomposing, denoising, contrast enhancement and detail preservation, respectively. Our R2RNet not only uses the spatial information of the image to improve the contrast but also uses the frequency information to preserve the details. Therefore, our model acheived more robust results for all degraded images. Unlike most previous methods that were trained on synthetic images, we collected the first Large-Scale Real-World paired low/normal-light images dataset (LSRW dataset) to satisfy the training requirements and make our model have better generalization performance in real-world scenes. Extensive experiments on publicly available datasets demonstrated that our method outperforms the existing state-of-the-art methods both quantitatively and visually. In addition, our results showed that the performance of the high-level visual task (i.e. face detection) can be effectively improved by using the enhanced results obtained by our method in low-light conditions. Our codes and the LSRW dataset are available at: https://github.com/abcdef2000/R2RNet.

研究の動機と目的

• 合成データセットに依存する既存の低照度画像強調手法の限界を克服し、実世界のシーンに一般化できない問題を解決すること。
• コントラスト向上、ノイズ抑制、微細なディテールの保持を同時に実現することで、低照度条件下での画像品質を向上させること。
• 低照度画像強調が顔検出を含む高レベルのビジョンタスクの性能を顕著に向上させられることを示すこと。
• 深層学習モデルのための低照度強調に適した、より良い一般化性能を実現するための、大規模な実世界ペアドデータセット（LSRW）を構築すること。
• リライト段階において周波数ドメイン処理を統合し、アーチファクトを低減しながらも、画像ディテールを保持し、コントラストを維持すること。

提案手法

• Retinex理論に基づき、入力の低照度画像を照度マップと反射率マップに分離するための3サブネットアーキテクチャ（Decom-Net）を提案。
• 照度マップを空間的制約として用いて、反射率マップのノイズを抑制するDenoise-Netを採用し、構造的整合性を保持する。
• 照度調整のための空間的特徴と、高速フーリエ変換を用いた周波数ドメイン特徴を組み合わせることで、コントラストと明るさを向上させるRelight-Netを用いる。
• ノイズの増幅を防ぎつつ高周波数ディテールの再構成を促進するため、周波数損失関数を導入。
• 視覚的品質と構造的忠実性を確保するため、知覚的損失および再構成損失を用いて、エンド・トゥ・エンドでネットワーク全体を訓練。
• 実世界のペアドデータセット（LSRW）を活用し、合成データからのドメインシフトを回避する。5,650組のペア画像を含む。

実験結果

リサーチクエスチョン

• RQ1 空間的および周波数ドメイン処理を統合した深層学習モデルは、従来の手法に比べて優れた低照度画像強調を達成できるか？
• RQ2 実世界のペアド低／通常照度画像で学習させることで、合成データセットに比べて実世界の低照度シーンにおける一般化性能と性能が向上するか？
• RQ3 低照度画像強調が、顔検出を含む高レベルのビジョンタスクの精度をどの程度向上させられるか？
• RQ4 提案された周波数損失は、ノイズの増幅を防ぎつつ、リライト段階で画像ディテールをどの程度効果的に保持できるか？
• RQ5 3段階のネットワーク（分解、ノイズ除去、リライト）は、コントラスト、ノイズ抑制、ディテール保持の観点でエンド・トゥ・エンドモデルを上回る性能を発揮できるか？

主な発見

• LOLデータセットにおいて、R2RNetは最高のPSNR（20.207）とSSIM（0.816）を達成し、MBLLEN や EnlightenGAN を含むSOTA手法を上回った。
• アブレーションスタディの結果、知覚的損失と周波数損失の両方を有効に活用した完全なR2RNetアーキテクチャが最良の性能を示し、周波数損失を除去するとPSNRが2.242低下した。
• DARK FACEデータセットにおいて、R2RNetを前処理として用いることで、顔検出の平均精度（AP）が強調なしの17.12％からDSFDでは33.98％、RetinaFaceでは25.97％に向上した。
• 5,650枚の実世界ペアド低／通常照度画像を含むLSRWデータセットは、合成データセットに比べてより優れた一般化性能を示し、公開ベンチマークでも性能向上が確認された。
• 周波数損失はディテール保持に顕著な貢献を示しており、これを除去するとPSNRが0.451低下し、SSIMが0.011低下した。これは、高周波数ディテール回復におけるその重要性を示している。
• 視覚的比較では、R2RNetが暗所領域のノイズとアーチファクトを効果的に抑制している一方で、RetinexNetのぼやけやSRIEの低強調と比較して、色の歪みが少なく、自然な出力が得られていることが確認された。