[論文レビュー] EnlightenGAN: Deep Light Enhancement without Paired Supervision

Yifan Jiang, Xinyu Gong+7 more|arXiv (Cornell University)|Jun 17, 2019

Image Enhancement Techniques参考文献 53被引用数 205

ひとこと要約

EnlightenGAN は、グローバル・ローカル判別器、自己規則化知覚損失、自己規則化アテンションを用いて、対になっていない低照度画像と通常照度画像から学習する無監督の GAN で、対データなしで写真リアルな結果を生み出します。

ABSTRACT

Deep learning-based methods have achieved remarkable success in image restoration and enhancement, but are they still competitive when there is a lack of paired training data? As one such example, this paper explores the low-light image enhancement problem, where in practice it is extremely challenging to simultaneously take a low-light and a normal-light photo of the same visual scene. We propose a highly effective unsupervised generative adversarial network, dubbed EnlightenGAN, that can be trained without low/normal-light image pairs, yet proves to generalize very well on various real-world test images. Instead of supervising the learning using ground truth data, we propose to regularize the unpaired training using the information extracted from the input itself, and benchmark a series of innovations for the low-light image enhancement problem, including a global-local discriminator structure, a self-regularized perceptual loss fusion, and attention mechanism. Through extensive experiments, our proposed approach outperforms recent methods under a variety of metrics in terms of visual quality and subjective user study. Thanks to the great flexibility brought by unpaired training, EnlightenGAN is demonstrated to be easily adaptable to enhancing real-world images from various domains. The code is available at \url{https://github.com/yueruchen/EnlightenGAN}

研究の動機と目的

• Paired な低照度/通常照度画像対を必要とせず、堅牢な低照度強化を動機づける。
• さまざまな現実世界のシーンに一般化する無監督 GAN フレームワークを提案する。
• 照明補正と同時に内容と質感を preserving するメカニズムを開発する。
• 最先端手法と比較して視覚品質とユーザー好みの向上を実証する。
• 対付きの監督なしで現実世界のドメインシフトへの適応性を示す。

提案手法

• 生成器として注意機構付きの U-Net を使用する。
• グローバルおよびローカルの PatchGAN ベースの二重判別器を採用する。
• グローバル判別器には Relativistic LS-GAN 形式、ローカル判別器には標準の LS-GAN を適用する。
• 入力の低照度画像と強調後の出力の特徴空間距離を VGG 特徴を用いて正則化する自己特徴保存損失を導入する。
• 入力照度に基づく自己規則化注意機構を導入して特徴マップを変調する。
• サイクル一貫性なしで、対になっていない低照度・通常照度画像で訓練し、訓練をより速く行えるようにする。

実験結果

リサーチクエスチョン

• RQ1 対を成す学習データがなくても高品質な低照度強化は達成できるか。
• RQ2 グローバルおよびローカル判別器は、アーティファクトを導入せずに空間的に変動する照明を共同で改善できるか。
• RQ3 自己規則化知覚損失は対なしの学習で内容を保持するのに役立つか。
• RQ4 入力照度に guided されたアテンション機構は視覚的現実感をさらに高めるか。

主な発見

• EnlightenGAN は主観的評価において複数のベースラインよりも優れた視覚品質とユーザーの好みを示した。
• グローバル・ローカル判別器構造は局所的な過剰露光・不足露光のアーティファクトを防ぐのに役立つ。
• 自己特徴保存損失は対なし設定において意味のある知覚正則化を提供する。
• 自己規則化アテンションは多様なシーンで一貫性とリアリズムを向上させる。
• 本手法は現実世界の低照度データへの強い一般化と容易なドメイン適応を示す。
• 定量的 NIQE 評価と人間評価は複数のテストセットで EnlightenGAN を支持する。