[論文レビュー] Low-light Image Enhancement Algorithm Based on Retinex and Generative Adversarial Network

Yangming Shi, Xiaopo Wu+1 more|arXiv (Cornell University)|Jun 14, 2019

Image Enhancement Techniques参考文献 42被引用数 30

ひとこと要約

本稿では、低照度画像を照度と反射率成分に分解し、生成的対抗ネットワークを用いて強化するRetinex-GANフレームワークを提案する。CSIDデータセットにおいて、PSNR 31.31、SSIM 0.879の最先端の性能を達成し、ぼかしやノイズを顕著に低減するとともに、微細なディテールを良好に保持している。

ABSTRACT

Low-light image enhancement is generally regarded as a challenging task in image processing, especially for the complex visual tasks at night or weakly illuminated. In order to reduce the blurs or noises on the low-light images, a large number of papers have contributed to applying different technologies. Regretfully, most of them had served little purposes in coping with the extremely poor illumination parts of images or test in practice. In this work, the authors propose a novel approach for processing low-light images based on the Retinex theory and generative adversarial network (GAN), which is composed of the decomposition part for splitting the image into illumination image and reflected image, and the enhancement part for generating high-quality image. Such a discriminative network is expected to make the generated image clearer. Couples of experiments have been implemented under the circumstance of different lighting strength on the basis of Converted See-In-the-Dark (CSID) datasets, and the satisfactory results have been achieved with exceeding expectation that much encourages the authors. In a word, the proposed GAN-based network and employed Retinex theory in this work have proven to be effective in dealing with the low-light image enhancement problems, which will benefit the image processing with no doubt.

研究の動機と目的

• 実際の環境における劣悪な照度とノイズを伴う低照度画像強調の課題に対処すること。
• 人工データセットに依存する既存手法が極度に暗いまたはノイズの多い画像で失敗するという限界を克服すること。
• Retinex理論とGANを統合することで、より優れた分解と強調を実現し、画像品質を向上させること。
• 構造的損失関数を用いて、ぼかしとノイズを低減し、高忠実度の強調を達成すること。

提案手法

• 本手法は、Retinexにインspiredされたネットワークアーキテクチャを用いて、低照度画像を照度と反射率成分に分解する。
• 生成的対抗ネットワーク（GAN）を用いて照度成分を強化し、高品質で自然な外観の結果を得る。
• 分解プロセスをRetinex理論に整合させるために正則化損失を導入し、局所最適解を回避する。
• ぼかしを低減し、知覚的品質を向上させるために、構造的類似性（SSIM）損失とSmooth-L1損失を用いる。
• CSIDおよびLOLデータセットからのペアド実際の低照度・通常照度画像を用いてモデルを学習する。
• GAN損失、SSIM損失、Smooth-L1損失の複数成分による監視により、安定性と忠実度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドなRetinex-GANモデルは、微細なディテールを保持しながら、低照度画像の分解と強調を効果的に行えるか？
• RQ2 SSIM損失とSmooth-L1損失を組み込むことで、標準的なL1損失と比較して、知覚的品質が向上し、ぼかしが低減する程度はどの程度か？
• RQ3 Retinexに基づく分解は、極端な照度条件下でも低照度強調のロバストネスをどの程度向上させるか？
• RQ4 合成的または人工的に劣化させたデータセットとは異なり、実世界の高ノイズ低照度画像に対して、本モデルはどの程度の性能を示すか？
• RQ5 提案手法は、高解像度の動画処理においてリアルタイム性能を達成できるか？

主な発見

• 提案されたRetinex-GANは、CSIDデータセットにおいて照度レベル0.5の条件下でPSNR 31.31、SSIM 0.879を達成し、ベースラインモデルを上回った。
• アブレーションスタディの結果、GAN損失、SSIM損失、Smooth-L1損失を追加することで、ベースモデルと比較してPSNRが0.42向上、SSIMが0.016向上した。
• 正則化損失を含む第3の戦略（S3）は、S1およびS2と比較して、より一貫性があり正確な照度と反射率の分解を実現した。
• MSEはS1の111.27からS3 + GAN + SSIM + Smooth-L1の99.12に低下し、再構成忠実度が向上したことが示された。
• 強力な性能を発揮したが、極度にノイズの強い入力に対しては苦戦し、本物の本の表紙に印刷された文字などのディテールが失われる失敗例も観察された。
• 384×256解像度では91 FPSで動作したが、1280×720解像度に達すると11 FPSに低下し、リアルタイム動画処理に向けた最適化が依然として必要であると示された。