[論文レビュー] ReLLIE: Deep Reinforcement Learning for Customized Low-Light Image Enhancement

Rongkai Zhang, Lanqing Guo+2 more|arXiv (Cornell University)|Jul 13, 2021

Image Enhancement Techniques参考文献 29被引用数 7

ひとこと要約

ReLLIE は、強化学習に基づくフレームワークを提案し、低照度画像のカスタマイズされた増幅を段階的でポリシーに基づくカーブ推定プロセスとしてモデル化することで、教師なしの損失関数と軽量なネットワークを用いて、ペairedデータが不要な柔軟でユーザーに適応した増幅を実現する。この手法はゼロショットおよび非教師あり設定で最先端の性能を達成した。

ABSTRACT

Low-light image enhancement (LLIE) is a pervasive yet challenging problem, since: 1) low-light measurements may vary due to different imaging conditions in practice; 2) images can be enlightened subjectively according to diverse preferences by each individual. To tackle these two challenges, this paper presents a novel deep reinforcement learning based method, dubbed ReLLIE, for customized low-light enhancement. ReLLIE models LLIE as a markov decision process, i.e., estimating the pixel-wise image-specific curves sequentially and recurrently. Given the reward computed from a set of carefully crafted non-reference loss functions, a lightweight network is proposed to estimate the curves for enlightening of a low-light image input. As ReLLIE learns a policy instead of one-one image translation, it can handle various low-light measurements and provide customized enhanced outputs by flexibly applying the policy different times. Furthermore, ReLLIE can enhance real-world images with hybrid corruptions, e.g., noise, by using a plug-and-play denoiser easily. Extensive experiments on various benchmarks demonstrate the advantages of ReLLIE, comparing to the state-of-the-art methods.

研究の動機と目的

• 既存の1対1の画像変換手法が、変動する照度条件やユーザーの好みを適切に扱えないという限界を是正すること。
• 強化学習フレームワークを用いて、増幅ステップ数の柔軟な制御を可能にすることで、ユーザーに特化した出力を可能にする手法の開発。
• 教師なしの損失関数を報酬信号として用いる強化学習フレームワークを活用することで、ペアドデータ（ペアあり・ペアなしを問わず）を排除すること。
• 即席のノイズ除去モジュールを増幅パイプラインに統合することで、ノイズを含む混合汚染に強い耐性を高めること。
• チャネル比一定性損失（CRL）やチャネル依存型モーメンタム更新（CDMU）といった新規モジュールを導入し、モデルの安定性と視覚的品質を向上させること。

提案手法

• ReLLIE は、低照度画像増幅をマルコフ決定過程として定式化し、ポリシーネットワークが複数ステップにわたり、画像固有の2次曲線を段階的に推定する。
• ポリシーは、入力画像を処理し、再帰的に増幅曲線を出力する軽量な完全畳み込みネットワークによって学習される。
• 教師なしの報酬関数は、提案されたチャネル比一定性損失（CRL）を含む複数の損失関数を用いて構築され、教師なしの学習を支援する。
• チャネル依存型モーメンタム更新（CDMU）モジュールは、チャネルごとにモーメンタムを適応的に調整することで、トレーニングの安定性を高め、色の整合性を改善する。
• 増幅誘導型精錬（RF）モジュールは、後処理として統合され、加法的ノイズを抑制し、混合汚染の効果的処理を可能にする。
• フレームワークは、テスト時に任意の増幅ステップ数を許容することで、ゼロショットおよび非教師あり推論を可能にし、訓練時のステップ数を超える場合でも動作可能である。

実験結果

リサーチクエスチョン

• RQ1 1対1の変換モデルと比較して、深層強化学習フレームワークは低照度画像増幅においてより優れたカスタマイズ性を達成できるか？
• RQ2 ペアドデータが存在しない状況でも、非教師損失関数が強化学習エージェントの学習に有効に機能するか？
• RQ3 提案されたポリシーに基づくアプローチは、ステップ数の柔軟な制御により、画像劣化の度合いやユーザーの好みの変動を適切に処理できるか？
• RQ4 CRL、CDMU、RF といった新規モジュールは、視覚的品質と耐性の両面で効果を発揮するか？
• RQ5 ReLLIE は、ノイズや低照度を含む実世界の画像に混合汚染が存在する場合にも一般化可能か？

主な発見

• CRL、CDMU、RF のすべてのモジュールを組み合わせた場合、ReLLIE は LOL データセットで 19.52 dB の PSNR を達成し、ベースラインの 7.76 dB から顕著な向上を示した。
• CRL と CDMU の導入により、色ずれが低減され、SSIM は 0.3798 から 0.8268 に向上し、色再現性の向上が確認された。
• RF モジュールは、ノイズを効果的に除去しており、定性的な比較において、RF を含む ReLLIE はノイズなしのバージョンよりも明瞭でシャープな結果を生成した。
• LIME データセットにおけるユーザー評価では、ReLLIE は Zero-DCE や EnlightenGAN を 65% の参加者に好まれ、特に N=4 および N=6 の増幅ステップで顕著な優位性を示した。
• ReLLIE はゼロショットおよび非教師あり LLIE ベンチマークで最先端の性能を達成し、ペアドデータや非ペアドデータに依存する手法を上回った。
• フレームワークは、推論時に任意の増幅ステップ数を許容でき、たとえば訓練時に N=6 で学習したにもかかわらず、N=8 ステップでの画像増幅が可能であるなど、真のカスタマイズ性を実現した。