[論文レビュー] O-Mamba: O-shape State-Space Model for Underwater Image Enhancement

Chenyu Dong, Chen Zhao+2 more|arXiv (Cornell University)|Aug 23, 2024

Image Enhancement Techniques被引用数 5

ひとこと要約

O-Mamba は、空間情報とクロスチャネル情報をモデル化するために Spatial Mamba と Channel Mamba を備えた O 形状のデュアルブランチ Mamba ネットワークを導入し、複数のデータセットに跨る最先端 (SOTA) の結果を達成するために、多尺度 Bi-mutual Promotion モジュールを用いて多尺度特徴を融合します。

ABSTRACT

Underwater image enhancement (UIE) face significant challenges due to complex underwater lighting conditions. Recently, mamba-based methods have achieved promising results in image enhancement tasks. However, these methods commonly rely on Vmamba, which focuses only on spatial information modeling and struggles to deal with the cross-color channel dependency problem in underwater images caused by the differential attenuation of light wavelengths, limiting the effective use of deep networks. In this paper, we propose a novel UIE framework called O-mamba. O-mamba employs an O-shaped dual-branch network to separately model spatial and cross-channel information, utilizing the efficient global receptive field of state-space models optimized for underwater images. To enhance information interaction between the two branches and effectively utilize multi-scale information, we design a Multi-scale Bi-mutual Promotion Module. This branch includes MS-MoE for fusing multi-scale information within branches, Mutual Promotion module for interaction between spatial and channel information across branches, and Cyclic Multi-scale optimization strategy to maximize the use of multi-scale information. Extensive experiments demonstrate that our method achieves state-of-the-art (SOTA) results.The code is available at https://github.com/chenydong/O-Mamba.

研究の動機と目的

• 複雑な照明、散乱、色の歪みに起因する水中画像の劣化に対処する。
• 空間情報とクロスチャネル情報を個別にモデル化するデュアルブランチアーキテクチャを開発する。
• MSBMP を介してブランチ間の相互作用と多尺度情報の融合を可能にし、UIE の性能を向上させる。

提案手法

• Spatial Mamba Branch (SM) と Channel Mamba Branch (CM) を備えた O 字形デュアルブランチネットワークを提案する。
• 空間 Mamba Block と Channel Mamba Block を用いて、状態空間モデリング（SSM）を用いた空間およびクロスチャネルの依存関係を捉える。
• MS-MoE（Multi-scale MoE）、Mutual Promotion（MP）、Cyclic Multi-scale optimization（CMS）を含む Multi-scale Bi-mutual Promotion (MSBMP) モジュールを導入する。
• SSM を四つの空間方向に沿った 2D 選択的スキャン（S-SSM）およびクロスチャネルスキャンモジュール（C-SSM）で拡張する。
• 多様な水中条件に対応するため、Mamba ブロック内のフィードフォワードネットワークとして FF-MoE を採用する。
• 現在のブランチのエキスパートブロックを用いて、各ブランチ内で多尺度特徴を融合するため MS-MoE を実装する。
• 訓練中のスケール間の干渉を抑制するため、循環的な多尺度損失（CMS-OS）を適用する。

実験結果

リサーチクエスチョン

• RQ1 デュアルブランチ Mamba ベースのアーキテクチャは、UIE において空間情報とクロスチャネル情報の両方を効果的にモデリングできるか？
• RQ2 MSBMP を介したマルチスケールのブランチ間相互作用は、単一ブランチや非 MSBMP バリアントと比較して復元品質を向上させるか？
• RQ3 循環的多尺度最適化が、スケール間の訓練安定性と性能に与える影響はどの程度か？
• RQ4 O-Mamba は複数の水中ベンチマークにおける最先端の UIE 手法とどのように比較されるか？

主な発見

• O-Mamba は複数の UIE データセットと指標で最先端の性能を達成する。
• アブレーションにより、デュアルブランチ設計が単一ブランチ設計（O-Mamba-S および O-Mamba-C）を上回ることを示す。
• MP モジュールはブランチ間の情報相互作用を著しく改善し、アブレーションで PSNR を 29.82 から 30.00 に引き上げる。
• MS-MoE は多尺度情報融合にとって重要で、顕著な性能向上に寄与する。
• 循環的な多尺度最適化はスケール間の干渉を低減し、全体的な結果を改善する。
• いくつかの SOTA UIE 手法と比較して、O-Mamba は LSUI や UIEB などのデータセットで定量的な結果が優れていることを本研究で報告している。