[論文レビュー] Retinex-inspired Unrolling with Cooperative Prior Architecture Search for Low-light Image Enhancement

Risheng Liu, Long Ma+3 more|arXiv (Cornell University)|Dec 10, 2020

Image Enhancement Techniques参考文献 27被引用数 59

ひとこと要約

RUASは Retinexに着想を得た展開型最適化を協調的な参照なしのニューラルアーキテクチャ探索と統合し、軽量で高性能な低照度画像改善ネットワークを構築します。低い計算コストで最先端の結果を示します。

ABSTRACT

Low-light image enhancement plays very important roles in low-level vision field. Recent works have built a large variety of deep learning models to address this task. However, these approaches mostly rely on significant architecture engineering and suffer from high computational burden. In this paper, we propose a new method, named Retinex-inspired Unrolling with Architecture Search (RUAS), to construct lightweight yet effective enhancement network for low-light images in real-world scenario. Specifically, building upon Retinex rule, RUAS first establishes models to characterize the intrinsic underexposed structure of low-light images and unroll their optimization processes to construct our holistic propagation structure. Then by designing a cooperative reference-free learning strategy to discover low-light prior architectures from a compact search space, RUAS is able to obtain a top-performing image enhancement network, which is with fast speed and requires few computational resources. Extensive experiments verify the superiority of our RUAS framework against recently proposed state-of-the-art methods.

研究の動機と目的

• ノイズを低減しつつテクスチャを保持する頑健な低照度画像強化を推進する。
• 照明とノイズを別々にモデル化するため、Retinexベースの最適化を展開して原理的なネットワークを設計する。
• 対になるデータを必要とせず、照明推定とノイズ除去のためのコンパクトな事前アーキテクチャを自動的に発見する。
• 軽量で有効なアーキテクチャを探索・訓練する協調的な二レベル学習フレームワークを提案する。

提案手法

• RetinexベースのモデルをIllumination Estimation Module (IEM) および Noise Removal Module (NRM)を備えて定式化する。
• 最適化ステップを展開して、各反復がCNNブロックによってパラメータ化される伝搬ネットワークを構築する。
• 選択可能な操作を持つ蒸留セルによるコンパクトな探索空間を定義する（1x1/3x3 Conv、残差畳み込み、膨張畳み込み、スキップ接続）。
• 協調的な二レベル学習設定で、IEMとNRMのアーキテクチャパラメータを得るために微分可能NASを用いる。
• トレーニングには参照なしの損失を用いる：忠実度と正則化項（IEMには RTV、NRMには TV）。
• IEMとNRMのアーキテクチャを共同で最適化するための協調的なミンミン最適化を解く。

実験結果

リサーチクエスチョン

• RQ1 Retinexに着想を得た展開が、軽量でありながら効果的な低照度強調の階層を生み出せるか。
• RQ2 協調的で参照なしの NAS 戦略は、手作り設計のネットワークを上回る照明推定とノイズ除去のコンパクトなアーキテクチャを特定できるか。
• RQ3 RUASは実世界の低照度シナリオにおいて、明るさ、テクスチャの保持、ノイズ抑制をどのようにバランスさせるか。
• RQ4 最先端のCNNと比較して、RUAS探索アーキテクチャの実行時間とメモリの利点は何か。

主な発見

Table 1 – データセット / 指標 / 手法	PSNR	SSIM	MIT-Adobe 5K (PSNR)	MIT-Adobe 5K (SSIM)	LOL (PSNR)	LOL (SSIM)	Table 2 – Model Efficiency	SIZE（M）	FLOPs（G）	TIME（S）	RUAS i	RUAS i+n
MIT-Adobe 5K – PSNR (dB)		LIME 17.788	SSIM 0.826	LIME 17.788	SSIM 0.826	RUAS i (PSNR) 20.830, SSIM 0.854	0.001
MIT-Adobe 5K – PSNR (dB)	SSIM	SDD 17.617	0.792	DRBN 15.954	0.704	RUAS i+n (PSNR) 20.830, SSIM 0.854	0.003
LOL – PSNR (dB)	LOL – SSIM	LIME 14.916	0.516	SDD 15.484	0.578	KinD 14.616	0.636	Ours 18.226	0.717	Table 2 values	0.003

• RUASはMIT-Adobe 5KおよびLOLデータセットで最先端または競合的なPSNR/SSIMを、はるかに小さいモデルサイズとFLOPsで達成する。
• 協調探索はIEMとNRMのアーキテクチャを生み出し、別個の探索や素朴な結合探索よりもPSNR、SSIM、効率の点で上回る。
• ノイズ除去モジュール（NRM）の組み込みは、ノイズの多い現実世界の低照度シーンで性能を向上させる。
• 探索済みの RUAS バリアント（RUAS i および RUAS i+n）は、いくつかの手動設計ベースラインと比較して、サイズが小さく、FLOPsが低く、推論が速いという点で優れた効率を示す。
• アブレーション研究は、洗練されたウォームスタート戦略の利点と、ノイズのあるシナリオにおけるNRMの必要性を確認する。