[論文レビュー] Low-light Image Enhancement by Retinex Based Algorithm Unrolling and Adjustment

Xinyi Liu, Qi Xie+3 more|arXiv (Cornell University)|Feb 12, 2022

Image Enhancement Techniques被引用数 4

ひとこと要約

本稿では、Retinexに基づく最適化アルゴリズムをニューラルネットワークにアンロールすることで、データ駆動型の事前知識と従来の画像事前知識を統合する、低照度画像強調のための新規ディープラーニングフレームワークを提案する。アルゴリズムアンロールにインspiredされた分解ネットワークと、グローバルおよびローカルの明るさを調整するデュアルパス調整モジュールを採用し、自己教師付きファインチューニング戦略により手動でのハイパーパramータチューニングを回避することで、最先端の性能を達成している。

ABSTRACT

Motivated by their recent advances, deep learning techniques have been widely applied to low-light image enhancement (LIE) problem. Among which, Retinex theory based ones, mostly following a decomposition-adjustment pipeline, have taken an important place due to its physical interpretation and promising performance. However, current investigations on Retinex based deep learning are still not sufficient, ignoring many useful experiences from traditional methods. Besides, the adjustment step is either performed with simple image processing techniques, or by complicated networks, both of which are unsatisfactory in practice. To address these issues, we propose a new deep learning framework for the LIE problem. The proposed framework contains a decomposition network inspired by algorithm unrolling, and adjustment networks considering both global brightness and local brightness sensitivity. By virtue of algorithm unrolling, both implicit priors learned from data and explicit priors borrowed from traditional methods can be embedded in the network, facilitate to better decomposition. Meanwhile, the consideration of global and local brightness can guide designing simple yet effective network modules for adjustment. Besides, to avoid manually parameter tuning, we also propose a self-supervised fine-tuning strategy, which can always guarantee a promising performance. Experiments on a series of typical LIE datasets demonstrated the effectiveness of the proposed method, both quantitatively and visually, as compared with existing methods.

研究の動機と目的

• 従来のRetinexベースのディープラーニング手法が従来の事前知識を十分に活用していないことや、最適でない調整モジュールを採用しているという限界を是正すること。
• アルゴリズムアンロールを通じて、暗黙のデータ事前知識と明示的な従来の事前知識を統合することで、画像分解の質を向上させること。
• グローバルな照度とローカルな明るさ感受性の両方を考慮した、シンプルでありながら効果的な調整ネットワークを設計すること。
• 自己教師付きファインチューニング戦略を導入することで、手動でのハイパーパramータチューニングを排除し、高い性能を維持すること。

提案手法

• 分解ネットワークは、Retinexに基づく最適化プロセスのアルゴリズムアンロールにより構築され、データ駆動型および従来の事前知識の統合が可能になる。
• 調整ネットワークは、グローバル明るさ調整用とローカル明るさ感受性調整用の2つの並列ブランチから構成され、詳細の保持を向上させる。
• 本フレームワークは、ペairedの現実世界データを必要としない自己教師付きファインチューニング戦略を用い、ネットワークパラメータを自動的に適応させる。
• 最適化プロセスは準ニュートン法を用いてモデル化され、ヘッセ行列の近似により、効率的で安定した学習が可能になる。
• 本手法は、反射率、照度、勾配事前知識を含む最小化問題として画像強調を定式化し、反復的更新により解く。
• 最終出力は、強調された反射率層と調整済み照度を要素ごとの演算で組み合わせることで、空間的一致性を保持する。

Figure 1: Illustration of the proposed LIE framework.

実験結果

リサーチクエスチョン

• RQ1 アルゴリズムアンロールは、低照度画像強調において、従来の画像事前知識とディープラーニングを効果的に統合できるか？
• RQ2 グローバルおよびローカルの明るさを処理できる、シンプルでありながら効果的な調整モジュールをどのように設計できるか？
• RQ3 自己教師付きファインチューニング戦略により、手動でのハイパーパramータチューニングの必要性を排除しつつ、高い性能を維持できるか？
• RQ4 データ駆動型事前知識と従来手法からの明示的事前知識を組み合わせることで、より優れた分解と強調結果が得られるか？

主な発見

• 提案手法は、複数の標準的な低照度画像強調ベンチマークで、定量的および定性的に最先端の性能を達成している。
• 自己教師付きファインチューニング戦略は、真値ラベルや手動チューニングを必要とせず、データセット全体で一貫して性能を向上させる。
• アルゴリズムアンロールによるデータ駆動型および従来の事前知識の統合により、照度と反射率のより正確で物理的に妥当な分解が可能になった。
• デュアルパス調整ネットワークは、単一パスや複雑なネットワークベースの調整モジュールと比較して、顕著に詳細回復と色再現性が向上した。
• ベンチマークデータセットにおいて、PSNR、SSIM、LPIPS指標の観点から、既存のRetinexベースのディープラーニングモデルを上回った。

(a) The entire decomposition network.