[論文レビュー] U-shape Transformer for Underwater Image Enhancement

Lintao Peng, Chunli Zhu+1 more|arXiv (Cornell University)|Nov 23, 2021

Image Enhancement Techniques参考文献 46被引用数 24

ひとこと要約

本稿では、最先端の水中画像強調技術を実現するため、チャネルワイズおよびスパティアルワイズのアテンションメカニズムを備えたU字型のTransformerネットワークを提案する。本研究では、4,279枚の画像を含む大規模な実世界の水中データセット（LSUI）を構築し、対応する参照画像、セグメンテーションマップ、透過率マップを提供する。また、RGB、LAB、LCHの複数色空間を組み合わせた損失関数を採用し、コントラストと彩度を向上させ、従来手法より2 dB以上のPSNR向上を達成した。

ABSTRACT

The light absorption and scattering of underwater impurities lead to poor underwater imaging quality. The existing data-driven based underwater image enhancement (UIE) techniques suffer from the lack of a large-scale dataset containing various underwater scenes and high-fidelity reference images. Besides, the inconsistent attenuation in different color channels and space areas is not fully considered for boosted enhancement. In this work, we constructed a large-scale underwater image (LSUI) dataset including 5004 image pairs, and reported an U-shape Transformer network where the transformer model is for the first time introduced to the UIE task. The U-shape Transformer is integrated with a channel-wise multi-scale feature fusion transformer (CMSFFT) module and a spatial-wise global feature modeling transformer (SGFMT) module, which reinforce the network's attention to the color channels and space areas with more serious attenuation. Meanwhile, in order to further improve the contrast and saturation, a novel loss function combining RGB, LAB and LCH color spaces is designed following the human vision principle. The extensive experiments on available datasets validate the state-of-the-art performance of the reported technique with more than 2dB superiority.

研究の動機と目的

• 多様なシーンと参照画像を備えた大規模で高精細な水中画像データセットの不足を解消すること。
• 水中画像における色と空間的減衰の不一致を、専用のアテンションメカニズムで克服すること。
• コントラスト、彩度、色再現性の向上により、水中画像の視覚的品質を改善すること。
• 既存のデータ駆動型および物理モデルベースのUIE手法を凌駆するディーブラーニングフレームワークの開発。

提案手法

• 色チャネルおよび空間領域における非一様減衰に対処するため、チャネルワイズマルチスケール特徴統合（CMSFFT）とスパティアルワイズグローバル特徴モデリング（SGFMT）を統合したU字型のTransformerアーキテクチャを提案。
• 人間の視覚認識に適合し、色再現性を向上させるために、RGB、LAB、LCHの色空間を組み合わせた新しい複数色空間損失関数を設計。
• 対応する高品質な参照画像、セマンティックセグメンテーションマップ、中間透過率マップを備えた、4,279組の実世界水中画像を含む大規模な水中画像（LSUI）データセットを構築。
• バックボーンとして[33]のU字型アーキテクチャを採用し、タスク固有のアテンションモジュールを追加して特徴表現を向上。
• 構造的詳細の保持と色再現性の向上を図るため、知覚的損失と複数色空間損失の組み合わせでモデルを訓練。
• 局所的詳細再構成を向上させ、アーチファクトを低減するため、マルチスケール勾配フロー機構（MSG）を採用。

実験結果

リサーチクエスチョン

• RQ1 高精細な参照画像を備えた大規模で実世界の水中画像データセットは、データ駆動型UIE手法の性能向上に寄与するか？
• RQ2 色チャネルおよび空間領域における不均一な減衰を、深層学習フレームワークで効果的にモデル化できるか？
• RQ3 損失関数にRGB、LAB、LCHの複数色空間を統合することで、より優れた色補正と向上した知覚的品質が得られるか？
• RQ4 Transformerベースのアーキテクチャにおけるチャネルワイズおよびスパティアルワイズアテンションメカニズムは、水中画像における色再現性と詳細回復にどの程度寄与するか？

主な発見

• 提案されたU字型Transformerは、Test-L400データセットでPSNR 24.16、Test-U90で22.91を達成し、すべてのベースラインを2 dB以上上回った。
• CMSFFT、SGFMT、MSG、MCSLをすべて統合したフルモデルが最高のPSNRとSSIMを記録し、統合設計の有効性を確認した。
• 複数色空間損失関数により色再現性が顕著に向上し、すべての比較手法の中でCIEDE2000スコアが最低（色補正が最良）であった。
• アブレーションスタディにより、各構成要素（CMSFFT、SGFMT、MSG、MCSL）が性能向上に独自に寄与しており、フルモデルが最良の視覚的品質と定量的スコアを達成した。
• LSUIデータセットは、既存のデータセットと比較して、水質、照明条件、ターゲットカテゴリの多様性に優れており、より強固なモデル学習を可能にした。
• 本手法は、特にプロフェッショナルカメラで撮影された画像において、Ground-truthのMacbethカラーチェッカーとの色相違を最小限に抑え、最高の色補正性能を達成した。