[論文レビュー] Bilevel Fast Scene Adaptation for Low-Light Image Enhancement

Long Ma, Dian Jin+4 more|arXiv (Cornell University)|Jun 2, 2023

Image Enhancement Techniques被引用数 6

ひとこと要約

本稿では、ハイパーパramータ最適化を活用してシーンに依存しないエンコーダーとメタ初期化されたデコーダーを学習する、低照度画像強調における高速適応のための二段階学習フレームワークを提案する。多様な低照度シーン間の潜在的パラメータ対応をモデル化することで、固定されたエンコーダー重みと強化された二段階学習による改善収束を実現し、適応的ノイズ低減と二重損失関数を備えた複数のベンチマークで最先端の性能を達成する。

ABSTRACT

Enhancing images in low-light scenes is a challenging but widely concerned task in the computer vision. The mainstream learning-based methods mainly acquire the enhanced model by learning the data distribution from the specific scenes, causing poor adaptability (even failure) when meeting real-world scenarios that have never been encountered before. The main obstacle lies in the modeling conundrum from distribution discrepancy across different scenes. To remedy this, we first explore relationships between diverse low-light scenes based on statistical analysis, i.e., the network parameters of the encoder trained in different data distributions are close. We introduce the bilevel paradigm to model the above latent correspondence from the perspective of hyperparameter optimization. A bilevel learning framework is constructed to endow the scene-irrelevant generality of the encoder towards diverse scenes (i.e., freezing the encoder in the adaptation and testing phases). Further, we define a reinforced bilevel learning framework to provide a meta-initialization for scene-specific decoder to further ameliorate visual quality. Moreover, to improve the practicability, we establish a Retinex-induced architecture with adaptive denoising and apply our built learning framework to acquire its parameters by using two training losses including supervised and unsupervised forms. Extensive experimental evaluations on multiple datasets verify our adaptability and competitive performance against existing state-of-the-art works. The code and datasets will be available at https://github.com/vis-opt-group/BL.

研究の動機と目的

• 未学習の低照度シーンに直面した際、分布シフトにより既存の学習ベースの低照度強調手法の一般化性能が著しく低下する問題に対処すること。
• 異なる低照度データ分布で学習されたエンコーダー間の潜在的パラメータ対応を調査し、シーン間でネットワークパラメータが近接していることを明らかにすること。
• 新しいシーンへの適応を高速化するためにエンコーダーを固定する二段階学習フレームワークを開発すること。
• メタ初期化されたシーン固有デコーダーのための強化された二段階学習戦略を導入し、適応速度と視覚的品質を向上させること。
• 適応的ノイズ低減を備えたリティナックスインスパイアドアーキテクチャを設計し、教師ありおよび教師なしの両方の学習をサポートすることで実用性を向上させること。

提案手法

• 統計的分析を通じてシーンに依存しないパラメータ対応をモデル化し、異なるデータ分布からのエンコーダー重みが近接していることを示し、ハイパーパramータに基づく一般化を可能にする。
• エンコーダーのパラメータをハイパーパramータとして扱うことで、適応段階で固定可能となる二段階学習（BL）フレームワークを提案する。
• シーン固有デコーダーの初期化をメタ学習するための強化された二段階学習（RBL）フレームワークを導入し、収束性と適応速度を向上させる。
• 適応的ノイズ低減モジュールを備えたリティナックスインスパイアドエンコーダ-デコーダーアーキテクチャを設計し、強化された特徴量からノイズマップを推定・除去する。
• 教師あり（参照画像を用いる）および教師なし（参照なし）の2つの学習モードをサポートする。損失関数を統合することで、頑健な最適化を実現する。
• 中間特徴量をノイズ低減モジュールで制約することで、滑らかな照度推定とエッジ詳細の保持を訓練プロセスに組み込む。

実験結果

リサーチクエスチョン

• RQ1 低照度シーン間の潜在的パラメータ対応を活用することで、エンコーダーの再トレーニングなしに高速適応を実現できるか？
• RQ2 二段階最適化を用いることで、多様な低照度条件下でも一般化可能なシーンに依存しないエンコーダーを学習できるか？
• RQ3 標準的な二段階学習と比較して、デコーダーのメタ初期化に強化された二段階学習を適用することで、適応速度と視覚的品質が向上するか？
• RQ4 適応的ノイズ低減モジュールは、高ノイズを伴う実世界の低照度画像において、どの程度性能を向上させるか？
• RQ5 提案されたフレームワークは、教師ありおよび教師なしの両方の学習レジームにおいても強力な性能を維持できるか？

主な発見

• 提案された二段階学習フレームワークは、4つのベンチマークデータセット（MIT、LOL、VOC、ExDark）で最先端の性能を達成し、FIDEおよびSCLを上回る視覚的品質を実現した。
• LOLデータセットでは、適応的ノイズ低減モジュールによりPSNRが11.1692から15.4120に、SSIMが0.2750から0.4205に向上し、顕著なノイズ抑制効果を示した。
• VOCでの微調整により、PSNRは15.7692から16.7280に、LPIPSは0.2503から0.1987に向上し、250枚程度の画像で効果的な適応が可能であることが示された。
• 強化された二段階学習（RBL）は、標準的な二段階学習よりも収束が早く、性能も優れており、メタ初期化における優位性を確認した。
• 中間結果から、滑らかな照度推定とエッジ詳細の保持が確認され、重要な画像構造がぼやけない効果的なノイズ抑制が実現していることが示された。
• アブレーションスタディにより、適応的ノイズ低減モジュールを削除すると深刻なノイズアーチファクトが発生することが判明し、その重要性を裏付けた。