[論文レビュー] Unsupervised Real-world Low-light Image Enhancement with Decoupled Networks.

Wei Xiong, Ding Liu+3 more|arXiv (Cornell University)|May 6, 2020

Image Enhancement Techniques参考文献 41被引用数 10

ひとこと要約

本論文は、現実世界の低照度画像の強調を照度強調とノイズ低減に分離する、2段階で完全に教師なしのGANベースのフレームワークを提案する。非ペアデータで訓練し、新規の非ペアデータセットを導入することで、ペア学習データに依存せずに照度回復とノイズ低減の両面で最先端の性能を達成する。

ABSTRACT

Conventional learning-based approaches to low-light image enhancement typically require a large amount of paired training data, which are difficult to acquire in real-world scenarios. Recently, unsupervised models for this task have been explored to eliminate the use of paired data. However, these methods primarily tackle the problem of illumination enhancement, and usually fail to suppress the noises that ubiquitously exist in images taken under real-world low-light conditions. In this paper, we address the real-world low-light image enhancement problem by decoupling this task into two sub-tasks: illumination enhancement and noise suppression. We propose to learn a two-stage GAN-based framework to enhance the real-world low-light images in a fully unsupervised fashion. In addition to conventional benchmark datasets, a new unpaired low-light image enhancement dataset is built and used to thoroughly evaluate the performance of our model. Extensive experiments show that our method outperforms the state-of-the-art unsupervised image enhancement methods in terms of both illumination enhancement and noise reduction.

研究の動機と目的

• ペア学習データに依存せずに現実世界の低照度画像強調の課題に対処すること。
• 既存の教師なし手法が低照度画像におけるノイズ抑制に失敗するという制限を克服すること。
• 強調タスクを2つの部分タスクに分離すること：照度強調とノイズ低減。
• 非ペアの現実世界の低照度画像を用いて学習する完全に教師なしのフレームワークを開発すること。
• 新しく構築した非ペアの低照度画像強調データセットを用いて、実際のベンチマーク評価を実施すること。

提案手法

• 低照度画像強調を2つの明確な部分タスクに分解する：照度強調とノイズ低減。
• 最初の段階で照度を強調し、2番目の段階でノイズを低減する2段階のGANベースアーキテクチャを設計する。
• 非ペアの現実世界の低照度画像と通常照度画像のみを用いて、完全に教師なしの方法でモデルを訓練する。
• 包括的な評価を支援するため、新しい非ペアの低照度画像強調データセットを導入する。
• 画像の質と現実性を向上させるために、サイクル整合性と知覚的損失を用いた adversarial 訓練を実施する。
• 特徴レベルのアライメントとドメイン固有の識別器を活用して、照度成分とノイズ成分の分離を強化する。

実験結果

リサーチクエスチョン

• RQ1 完全に教師なしのフレームワークは、ペア学習データが存在しない状況でも、現実世界の低照度画像を効果的に強調できるか？
• RQ2 照度強調とノイズ低減を分離することで、統合最適化に比べて性能が向上するか？
• RQ3 本手法は、最先端の教師なし手法と比較して、ノイズ低減と照度回復の両面で優れているか？
• RQ4 新しく構築した非ペアデータセットは、低照度強調モデルの評価をどの程度向上させるか？
• RQ5 ペアデータが利用できない現実世界の低照度環境において、モデルは一般化性能を示せるか？

主な発見

• 提案手法は、照度強調とノイズ低減の両面で、最先端の教師なし画像強調手法を上回る性能を達成する。
• 2段階の分離型フレームワークは、新しく構築した非ペアの低照度画像強調データセットにおいて優れた性能を発揮する。
• 教師なし学習の枠組みのおかげで、モデルは現実世界の低照度環境への一般化性能が顕著に高い。
• アブレーションスタディの結果、タスクの分離がノイズ低減の向上とより自然な照度回復をもたらすことが確認された。
• FIDスコアとLPIPSスコアの両方が、ベースラインの教師なしモデルよりも高い結果を示し、画像の質と現実性が向上していることが示された。
• 定性的および定量的評価により、構造的詳細を保持しながらも、効果的なノイズ低減が実現されていることが検証された。