[論文レビュー] Toward Fast, Flexible, and Robust Low-Light Image Enhancement

Long Ma, Tengyu Ma+3 more|arXiv (Cornell University)|Apr 21, 2022

Image Enhancement Techniques被引用数 53

ひとこと要約

本論文は、重み共有を用いた階層的イルミネーション学習と自己適応モジュールを組み合わせた軽量フレームワーク SCI を提案し、迅速で頑健な教師なし低照度画像強化と下流タスクの改善を実現します。

ABSTRACT

Existing low-light image enhancement techniques are mostly not only difficult to deal with both visual quality and computational efficiency but also commonly invalid in unknown complex scenarios. In this paper, we develop a new Self-Calibrated Illumination (SCI) learning framework for fast, flexible, and robust brightening images in real-world low-light scenarios. To be specific, we establish a cascaded illumination learning process with weight sharing to handle this task. Considering the computational burden of the cascaded pattern, we construct the self-calibrated module which realizes the convergence between results of each stage, producing the gains that only use the single basic block for inference (yet has not been exploited in previous works), which drastically diminishes computation cost. We then define the unsupervised training loss to elevate the model capability that can adapt to general scenes. Further, we make comprehensive explorations to excavate SCI's inherent properties (lacking in existing works) including operation-insensitive adaptability (acquiring stable performance under the settings of different simple operations) and model-irrelevant generality (can be applied to illumination-based existing works to improve performance). Finally, plenty of experiments and ablation studies fully indicate our superiority in both quality and efficiency. Applications on low-light face detection and nighttime semantic segmentation fully reveal the latent practical values for SCI. The source code is available at https://github.com/vis-opt-group/SCI.

研究の動機と目的

• 実世界の未知シナリオでも機能する高速で軽量な低照度画像強化フレームワークを開発する。
• 重み共有と自己適応メカニズムを通じて計算コストを抑えつつ頑健な性能を達成する。
• ペアデータなしで訓練可能な無監督学習を実現し、多様な場面へ適応と一般化を向上させる。
• 暗部顔検出や夜間セマンティックセグメンテーションなどの下流タスクを通じて実用的価値を示す。

提案手法

• イルミネーション学習を階層化された残差プロセスとして定式化し、推論を高速化するために各段階で共通ブロックを使用する。
• 自己適応モジュールを導入し、各段階への入力を拡張して段階出力の収束を促進する。
• ペアデータなしでモデルを訓練するために忠実度と空間的に変動する平滑化を組み合わせた無監督損失を定義する。
• 残差イルミネーション学習ユニットを用いてイルミネーションを推定し、安定性と効率を促進する。
• 自己適応モジュールは既存のイルミネーションベースのネットワークと統合可能で、性能を改善する（モデル依存性を超えた普遍性）。

実験結果

リサーチクエスチョン

• RQ1 SCI は階層的段階間で重みを共有することで品質を保ちつつ低照度強化を高速化できるか？
• RQ2 自己適応モジュールは段階出力の収束を保証し、多様な場面や単純な演算子設定において頑健性を向上させるか？
• RQ3 改善と組み合わせた場合、暗部顔検出や夜間セマンティックセグメンテーションなどの下流タスクで効果を発揮するか？
• RQ4 ペア付き ground truth がなくても、無監督損失がイルミネーション推定をどの程度指導できるか？
• RQ5 SCI は提案アーキテクチャ以外のイルミネーションベース手法へも一般化可能か？

主な発見

• SCI は多くのCNNベース手法と比較して計算量を大幅に抑えつつ競争力のある視覚品質を達成する。
• 自己適応モジュールは収束する段階出力を生み出し、単一ブロックでのテストによる速度向上を可能にする。
• SCI は既存のイルミネーションベース手法（例：RUAS）を統合することで性能を改善し、モデル非依存的な普遍性を示す。
• 暗部顔検出と夜間セマンティックセグメンテーションへの適用は、画像強化を超えた SCI の実用的利点を示す。
• 異なる単純演算子設定下でも安定した性能を維持し、操作に対する適応性を示す。