[論文レビュー] Self-supervised Image Enhancement Network: Training with Low Light Images Only

Yu Zhang, Xiaoguang Di+2 more|arXiv (Cornell University)|Feb 26, 2020

Image Enhancement Techniques参考文献 43被引用数 91

ひとこと要約

自己教師ありの低照度画像強調法で、最大エントロピー Retinex モデルに基づき、低照度画像のみで学習し、ペアデータなしで高速・リアルタイム対応の強調を実現。

ABSTRACT

This paper proposes a self-supervised low light image enhancement method based on deep learning. Inspired by information entropy theory and Retinex model, we proposed a maximum entropy based Retinex model. With this model, a very simple network can separate the illumination and reflectance, and the network can be trained with low light images only. We introduce a constraint that the maximum channel of the reflectance conforms to the maximum channel of the low light image and its entropy should be largest in our model to achieve self-supervised learning. Our model is very simple and does not rely on any well-designed data set (even one low light image can complete the training). The network only needs minute-level training to achieve image enhancement. It can be proved through experiments that the proposed method has reached the state-of-the-art in terms of processing speed and effect.

研究の動機と目的

• ペアの通常照明データを必要とせず、低照度画像強調の改善を促す。
• 反射率と照度を分離するための最大エントロピー基づく Retinex モデルを導入する。
• 低照度画像のみで自己教師付き学習を可能にする、シンプルなCNNを設計する。
• 環境やデバイスを跨ぐ高い一般化性能とリアルタイム性能を実証する。

提案手法

• 再構成誤差・反射率損失・照度損失を L1 ノルムで組み合わせた最大エントロピー Retinex 目的関数を定式化する。
• 最大チャネルとそのヒストグラム平坦化エントロピーを用いて反射率を制約する。
• 構造情報を保持するため照明の構造認識に基づく滑らかさ損失を採用する。
• 最終で Sigmoid を用いて反射率と照度を出力するシンプルな全畳み込みネットワークを実装する。
• ペアデータなしで、低照度画像のみ（単一画像でも）を用いて自己教師付きでネットワークを学習する。
• 客観的指標で評価し、古典手法および最先端手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 低照度画像のみを用いた自己教師付きで低照度画像強調は学習できるか？
• RQ2 最大エントロピー Retinex 形式が参照データなしで良好な反射率/照明分解と強調画像をもたらすか？
• RQ3 提案手法は品質と速度の点で教師あり法および他の非監視法とどう比較されるか？
• RQ4 単一画像と複数画像での学習が安定性とアーチファクトに与える影響は？

主な発見

GE	GMI	CE	GMG	LOE low	LOE high	NIQE	PSNR	SSIM	Time
7.785	105.3	23.21	17.12	505.3	898.6	5.201	15.81	0.5607	-
6.947	134.7	17.61	16.93	540.3	950.1	8.008	16.69	0.5262	-
7.070	96.67	20.787	20.38	1607.7	1867.8	9.135	16.97	0.5894	-
6.937	85.99	20.16	17.47	840.9	1197.7	9.713	16.97	0.6049	-
6.296	50.33	18.62	9.380	952.0	1291.4	7.535	11.86	0.4978	-
7.564	114.9	21.72	23.46	1303.5	1543.7	9.127	16.76	0.5644	-
7.116	119.0	21.52	9.918	902.5	1205.5	6.797	19.72	0.7035	-
6.835	110.2	21.13	24.00	1990.1	1988.8	9.730	16.77	0.5594	-
7.030	88.08	20.94	10.27	529.0	1028.2	4.422	14.18	0.5169	-
7.180	108.7	21.65	7.653	1210.8	1384.1	4.793	19.15	0.7108	0.0145
7.030	88.08	20.94	10.27	529.0	1028.2	4.422	14.18	0.5169	0.0145
7.040	115.5	21.31	6.910	921.9	-	4.253	-	1	-

• 本手法は従来手法および深層学習ベースのベースラインと比較して最先端の処理速度を達成し、強調品質も競争力がある。
• 低照度画像のみ、ひとつの画像でも学習可能で、数分レベルの訓練時間とリアルタイム性能を実現。
• 提案された最大エントロピー Retinex モデルはエントロピーに基づく制約を用いて反射率と照度の効果的な分離を提供。
• 早期停止は多くのエポックでの学習時のノイズやアーチファクトを回避するのに役立つ。
• LOL データセットでの定量結果は PSNR/SSIM で競争力があり、他のベースラインに対して定性的結果も有利。
• 単一画像の学習でも適切なエポック数で実行可能でアーチファクトなし、未知の環境への適応性が高いことを示す。