[論文レビュー] Kindling the Darkness: A Practical Low-light Image Enhancer

Yonghua Zhang, Jiawan Zhang+1 more|arXiv (Cornell University)|May 4, 2019

Image Enhancement Techniques参考文献 31被引用数 84

ひとこと要約

KinDは低照度画像を照明成分と反射成分に分解して光を調整し、劣化を除去する。対となる露出で訓練され、正解データとしての照明/反射成分がなくても、迅速で柔軟な強化を実現する。

ABSTRACT

Images captured under low-light conditions often suffer from (partially) poor visibility. Besides unsatisfactory lightings, multiple types of degradations, such as noise and color distortion due to the limited quality of cameras, hide in the dark. In other words, solely turning up the brightness of dark regions will inevitably amplify hidden artifacts. This work builds a simple yet effective network for extbf{Kin}dling the extbf{D}arkness (denoted as KinD), which, inspired by Retinex theory, decomposes images into two components. One component (illumination) is responsible for light adjustment, while the other (reflectance) for degradation removal. In such a way, the original space is decoupled into two smaller subspaces, expecting to be better regularized/learned. It is worth to note that our network is trained with paired images shot under different exposure conditions, instead of using any ground-truth reflectance and illumination information. Extensive experiments are conducted to demonstrate the efficacy of our design and its superiority over state-of-the-art alternatives. Our KinD is robust against severe visual defects, and user-friendly to arbitrarily adjust light levels. In addition, our model spends less than 50ms to process an image in VGA resolution on a 2080Ti GPU. All the above merits make our KinD attractive for practical use.

研究の動機と目的

• 実用的な低照度強化を動機づけ、輝度上昇・劣化除去・効率のバランスを取る。
• Retinexベースの分解を活用して照明と反射成分を分離し、学習を容易にする。
• ground-truthの反射/照明マップなしで任意の照明調整を可能にする。
• 照明を上げる際に増幅されるアーチファクトを除去する復元モジュールを開発する。
• 共通のベンチマークに対して最先端手法より優れていることを示す。

提案手法

• レイヤー分解モジュールに続く反射と照明の二つの分岐を備えたKinDを導入する。
• ground-truthマップなしで反射の類似性と照明の滑らかさを正則化するために、低照度/高照度の対ペア画像を用いて訓練する。
• 照明に導かれた反射復元ネットを用いて反射成分の劣化を除去する。
• αベースの制御で任意の光レベルへの柔軟な写像を学習する照明調整ネットを採用する。
• 再構成・反射類似性・照明滑らかさ・相互整合性を組み合わせた分解損失を用いる。
• LOL、LIME、NPE、MEFデータセットを横断してPSNR、SSIM、LOE、NIQEで評価する。

実験結果

リサーチクエスチョン

• RQ1 単一の低照度画像から照明を効果的に推定し、光レベルを柔軟に調整するにはどうすればよいか？
• RQ2 暗部を明るくする際に露出されるノイズや色かぶりをどう除去するか？
• RQ3 異なる露出での対ペア画像を用いて、照明/反射のグラウンドトゥルースなしでモデルを訓練できるか？
• RQ4 ガンマ補正を上回る柔軟なユーザー制御可能な照明写像を学習できるか？
• RQ5 KinDは既存の低照度強化法を上回るか？

主な発見

• KinDはLOLデータセット上でPSNR・SSIM・NIQEの点で競合手法を上回り、非参照品質も notably 優れている。
• 劣化の除去と光調整を効果的に行い、視覚的に良い結果を得られる。
• αベースの学習済み照明写像による照明調整はガンマ補正より自然な変化を提供し、ユーザーが光を指示できる。
• 照明に導かれた反射復元は反射の単純な去ノイズより復元品質を改善する。
• 本手法は2080Ti GPU上で VGA画像当たり約50 ms以下の実行時間を達成し、実用的な効率を示す。