[論文レビュー] Deep Retinex Decomposition for Low-Light Enhancement

Wei Chen, Wenjing Wang+2 more|arXiv (Cornell University)|Aug 14, 2018

Image Enhancement Techniques被引用数 238

ひとこと要約

この論文は、低照度画像を反射成分と照度に共同分解し、その後照度を改善するデータ駆動型の Retinex-Net を紹介します。反射成分のノイズ除去をオプションで行い、実データと合成 LOL データセットを対をなして学習します。

ABSTRACT

Retinex model is an effective tool for low-light image enhancement. It assumes that observed images can be decomposed into the reflectance and illumination. Most existing Retinex-based methods have carefully designed hand-crafted constraints and parameters for this highly ill-posed decomposition, which may be limited by model capacity when applied in various scenes. In this paper, we collect a LOw-Light dataset (LOL) containing low/normal-light image pairs and propose a deep Retinex-Net learned on this dataset, including a Decom-Net for decomposition and an Enhance-Net for illumination adjustment. In the training process for Decom-Net, there is no ground truth of decomposed reflectance and illumination. The network is learned with only key constraints including the consistent reflectance shared by paired low/normal-light images, and the smoothness of illumination. Based on the decomposition, subsequent lightness enhancement is conducted on illumination by an enhancement network called Enhance-Net, and for joint denoising there is a denoising operation on reflectance. The Retinex-Net is end-to-end trainable, so that the learned decomposition is by nature good for lightness adjustment. Extensive experiments demonstrate that our method not only achieves visually pleasing quality for low-light enhancement but also provides a good representation of image decomposition.

研究の動機と目的

• ground-truth reflectance/illuminationなしでデータ駆動型の Retinex ベース分解を低照度改善に導入する。
• paired low/normal-light images を活用して一貫した reflectance を照明条件間で抽出する Decom-Net を学習する。
• 多層スケールの文脈を用いて照度を調整しつつ、必要に応じて reflectance をデノイズする Enhance-Net を開発する。
• エンドツーエンドでトレーニング可能なフレームワークを提供し、視覚的に満足のいく改善と意味のある分解表現を生み出す。
• low-light enhancement 学習を支援するため Real-synthetic LOL データセットを構築・活用する。

提案手法

• Decom-Net は、対になった低照度/正常光画像から反射率と照度を推定する際、 reconstruction、invariable reflectance、structure-aware illumination losses を用いる。
• Structure-aware smoothness loss は 反射率の勾配により照度の TV を重み付け、構造を保持。
• Enhance-Net は encoder-decoder と多重スケール結合を用いて照度をグローバルかつ局所的に調整し、reflectance に対するデノイジングを行う。
• 反射率のデノイズは暗部でのノイズ増幅を抑制するために適用される。
• 訓練は end-to-end で、最初は Decom-Net と Enhance-Net を個別に訓練し、その後結合微調整を行う。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型の Decom-Net は ground-truth の分解がなくても、対になった低照度/正常光画像で一貫した reflectance を学習できるか？
• RQ2 構造を意識した illumination smoothness loss はシーンの構造を保持しつつ照度マップを改善するか？
• RQ3 多重スケール照度調整ネットワークは Enhance の過程でグローバルと局所の照度変更を一貫して生み出せるか？
• RQ4 反射率の共同デノイズは最終的な低照度改善結果を改善するか？
• RQ5 モデルは実データと合成データの低照度データセットにおいて、最先端手法と比較してどれくらい性能を発揮するか？

主な発見

• 本手法は視覚的に満足のいく低照度改善を提供し、意味のある分解表現を提供する。
• Decom-Net は照明条件を跨いで基礎となる一貫した reflectance を抽出でき、暗部でのノイズが reflectance に増幅して捉えられる。
• 構造を意識した TV ライクの照度損失は構造の保持を改善しつつ照明を平滑化する。
• 多重スケール照度調整は global 照度の一貫性を維持しつつ局所分布を調整。
• reflectance のデノイズを joint に行うことでエッジ保持が改善され、ノイズが減少する（いくつかのベースラインと比較して）。
• Retinex-Net は自然データと合成データセットで DeHZ, NPE, SRIE, LIME などの state-of-the-art 方法と比較して定性的に競争力のある結果を示す。