[論文レビュー] MambaLLIE: Implicit Retinex-Aware Low Light Enhancement with Global-then-Local State Space

Jiangwei Weng, Zhiqiang Yan+4 more|arXiv (Cornell University)|May 25, 2024

Advanced Optical Sensing Technologies被引用数 4

ひとこと要約

MambaLLIEは、局所的2次元依存性の保持にLocal-Enhanced State Space Module（LESSM）を統合し、適応的照明調節にImplicit Retinex-aware Selective Kernel（IRSK）を用いる、グローバル・トゥ・ローカル状態空間モデルを提案する。本手法は、ベンチマークデータセット上でPSNR 30.12、SSIM 0.900を達成し、既存のCNNおよびTransformerベースの手法を上回る最先端の性能を発揮する。

ABSTRACT

Recent advances in low light image enhancement have been dominated by Retinex-based learning framework, leveraging convolutional neural networks (CNNs) and Transformers. However, the vanilla Retinex theory primarily addresses global illumination degradation and neglects local issues such as noise and blur in dark conditions. Moreover, CNNs and Transformers struggle to capture global degradation due to their limited receptive fields. While state space models (SSMs) have shown promise in the long-sequence modeling, they face challenges in combining local invariants and global context in visual data. In this paper, we introduce MambaLLIE, an implicit Retinex-aware low light enhancer featuring a global-then-local state space design. We first propose a Local-Enhanced State Space Module (LESSM) that incorporates an augmented local bias within a 2D selective scan mechanism, enhancing the original SSMs by preserving local 2D dependency. Additionally, an Implicit Retinex-aware Selective Kernel module (IRSK) dynamically selects features using spatially-varying operations, adapting to varying inputs through an adaptive kernel selection process. Our Global-then-Local State Space Block (GLSSB) integrates LESSM and IRSK with LayerNorm as its core. This design enables MambaLLIE to achieve comprehensive global long-range modeling and flexible local feature aggregation. Extensive experiments demonstrate that MambaLLIE significantly outperforms state-of-the-art CNN and Transformer-based methods. Project Page: https://mamballie.github.io/anon/

研究の動機と目的

• 暗所画像における長距離グローバル劣化と局所的ノイズ／ぼかしを効果的にモデル化できないCNNおよびTransformerの限界を解消すること。
• 標準的な状態空間モデル（SSM）が、グローバル長距離モデリングを維持しつつも、局所的視覚的依存性を効果的に捉えることができないという問題を克服すること。
• 明示的な照明と反射率の分解を回避する新しい暗黙的リチノレックス認識フレームワークを導入し、柔軟でエンド・ツー・エンドの学習を可能にすること。
• 局所的強調とグローバルコンテキストモデリングを統合するGlobal-then-Local State Space Block（GLSSB）を設計し、包括的な暗所画像回復を実現すること。

提案手法

• 2次元選択的スキャン機構に局所バイアスを追加することで、視覚的特徴の空間的依存性を保持するLocal-Enhanced State Space Module（LESSM）を導入する。
• 空間的に変化するカーネルを動的に選択することで、より深いニューラル表現を通じて照明強度を適応的に調節する、Implicit Retinex-aware Selective Kernel（IRSK）を提案する。
• LESSMとIRSKをLayerNormと統合することで、グローバル長距離モデリングと柔軟な局所特徴集約を両立するGlobal-then-Local State Space Block（GLSSB）を設計する。
• 2段階戦略を採用：まずSSMを用いてグローバル劣化をモデリングし、次に暗黙的リチノレックスガイド付きの選択的カーネル操作で局所的詳細を精緻化する。
• 訓練の安定化とネットワーク全体における特徴伝搬の向上を図るため、残差学習スキームとスキップ接続を採用する。
• 効果的な正規化とカーネルサイズスケジューリングを適用し、初期層では小さなカーネル、深層では大きなカーネルを配置することで、パディングによる端効果を回避する。

実験結果

リサーチクエスチョン

• RQ1 グローバル・トゥ・ローカル状態空間アーキテクチャは、暗所画像における長距離グローバル照明と局所的画像劣化の両方を効果的にモデル化できるか？
• RQ2 明示的分解と比較して、暗黙的リチノレックス認識特徴選択は、性能と一般化性においてどのように異なるか？
• RQ3 LESSMとIRSKの統合は、汎用SSMや標準CNN/Transformerと比較して、局所的詳細回復とグローバル一貫性をどの程度向上させるか？
• RQ4 適応的カーネル選択を伴う提案された選択的カーネル機構は、固定または学習可能なカーネル設定と比較して、より優れた照明調節を実現するか？

主な発見

• MambaLLIEはSIDDベンチマークでPSNR 30.12、SSIM 0.900を達成し、CNNおよびTransformerベースの最先端手法を上回る性能を発揮した。
• アブレーションスタディの結果、LESSMを除去すると、完全モデルと比較してPSNRが0.29 dB低下し、局所モデリングにおけるその重要性が示された。
• IRSKは、Baseline-1と比較してPSNRを0.96 dB、Baseline-2と比較して0.74 dB向上させ、照明適応性における有効性を実証した。
• 暗黙的リチノレックス認識フレームワークは、事前ガイドなしのエンド・ツー・エンドベースラインと比較してPSNRを1.25 dB向上させ、事前知識統合の利点を確認した。
• 選択的カーネル行動の可視化により、モデルがグローバル依存性よりも類似した局所的特徴を優先して処理していることが確認され、局所的一致性の向上が示された。
• 3×5カーネル構成が最良の性能（PSNR: 30.12、SSIM: 0.900）を達成し、より大きなまたは対称的なカーネルよりも優れていた。これは、非対称的かつサイズが増加するカーネル設計の妥当性を裏付けた。