[論文レビュー] A Semi-supervised Physics-Aware Triple-Stream Underwater Image Enhancement Network

Xu, Shixuan, Hao Qi+5 more|arXiv (Cornell University)|Jul 21, 2023

Image Enhancement TechniquesComputer Science被引用数 3

ひとこと要約

本稿では、物理的知見に基づいた半教師あり二重ストリームネットワーク、PA-UIENetを提案する。この手法は、水中画像形成モデル（IFM）を用いて、透過率および環境光パラメータを明示的に推定する。透過率推定ストリーム（T-Stream）と環境光推定ストリーム（A-Stream）を用い、教師ありおよび教師なしデータを統合したIFMにインspiredされた半教師あり学習フレームワークにより、5つの実世界データセットで8つのベースラインを上回る最先端の性能を達成し、多様な水中シーンに対する一般化性能とロバスト性が向上した。

ABSTRACT

Underwater images normally suffer from degradation due to the transmission medium of water bodies. Both traditional prior-based approaches and deep learning-based methods have been used to address this problem. However, the inflexible assumption of the former often impairs their effectiveness in handling diverse underwater scenes, while the generalization of the latter to unseen images is usually weakened by insufficient data. In this study, we leverage both the physics-based Image Formation Model (IFM) and deep learning techniques for Underwater Image Enhancement (UIE). To this end, we propose a novel Physics-Aware Triple-Stream Underwater Image Enhancement Network, i.e., PATS-UIENet, which comprises a Direct Signal Transmission Estimation Stream (D-Stream), a Backscatter Signal Transmission Estimation Stream (B-Stream) and an Ambient Light Estimation Stream (A-Stream). This network fulfills the UIE task by explicitly estimating the degradation parameters of a revised IFM. We also adopt an IFM-inspired semi-supervised learning framework, which exploits both the labeled and unlabeled images, to address the issue of insufficient data. To our knowledge, such a physics-aware deep network and the IFM-inspired semi-supervised learning framework have not been used for the UIE task before. Our method performs better than, or at least comparably to, sixteen baselines across four testing sets in the degradation estimation and UIE tasks. These promising results should be due to the fact that the proposed method can not only model the degradation but also learn the characteristics of diverse underwater scenes.

研究の動機と目的

• 従来の事前分布に基づく手法が硬直的な仮定に依存し、多様な水中シーンで失敗するという限界を解消すること。
• 深層学習に基づく水中画像強調（UIE）におけるデータ不足問題を、教師ありおよび教師なしの実世界画像を活用することで克服すること。
• 物理的知見に基づく水中画像形成モデル（IFM）を用いて劣化パラメータを明示的にモデル化することで、モデルの一般化性能を向上させること。
• 二方向の教師あり学習と劣化学習を組み合わせた、新たな半教師あり学習フレームワークを構築し、より安定で高い性能のトレーニングを実現すること。

提案手法

• 本手法は二重ストリームアーキテクチャを採用する：透過率推定ストリーム（T-Stream）と環境光推定ストリーム（A-Stream）であり、両者とも入力の劣化画像からIFMパラメータを予測する。
• T-Streamは、$ t^c(x) = \exp(-\beta^c d(x)) $ で表されるチャネル別透過率マップを推定する。ここで $ \beta^c $ は減衰係数、$ d(x) $ はシーン距離マップを表す。
• A-Streamは、水中画像における全体的な照度劣化とコントラスト損失を説明する環境光 $ A^c $ を推定する。
• IFMにインスパイアされた半教師あり学習フレームワークを導入し、二方向の教師ありスキーム（前方強調と後方劣化）と、教師なしスキーム（教師なしデータを用いた劣化再構成）を統合する。
• このフレームワークにより、教師ありデータで監視を行い、教師なしデータで自己監視を実施することで、過学習を低減し、一般化性能を向上させる。
• 特徴表現とロバスト性を向上させるために、残留チャネル変換（RCT）モジュールを統合し、特に劣化に強く影響を受けやすい赤色チャネルの性能を強化する。

実験結果

リサーチクエスチョン

• RQ1 物理的知見に基づいた深層学習モデルが、IFMパラメータ（透過率および環境光）を明示的に推定することで、従来の事前分布ベースおよび深層学習ベースのUIE手法を上回る性能を発揮できるか？
• RQ2 半教師あり学習フレームワークにより、教師ありおよび教師なしの実世界水中画像を統合することで、データが限られる状況下でのモデル一般化性能がどのように向上するか？
• RQ3 二方向の教師あり学習と劣化学習を組み合わせたフレームワークは、純粋に教師ありまたは教師なしのアプローチと比較して、トレーニングの安定性と性能をどの程度向上させるか？
• RQ4 残留チャネル変換（RCT）モジュールの統合により、特に水中劣化に最も影響を受ける赤色チャネルのロバスト性が向上するか？

主な発見

• Michmoretサブセットでは、PA-UIENetが最高のPCC（0.71）と最小の$ \bar{\psi} $（11.51）を達成し、透過率推定および色再構成の面で、すべてのベースラインを顕著に上回った。
• Katzaaサブセットでは、PCCが0.48、$ \bar{\psi} $が8.75を記録し、劣化パラメータ推定と画像強調の両面で優れた性能を示した。
• アブレーションスタディの結果、RCTを追加することで透過率推定（PCC：-0.15 → 0.58）と画像品質（PSNR：22.16 → 22.97）が向上し、より高いロバスト性が得られた。
• 半教師あり学習フレームワーク（w/ Semi-Sup）は、Michmoretサブセットで最高のPCC（0.71）を達成し、簡略化されたバージョンを上回り、わずかに低いPSNRとSSIMであっても一般化性能が向上した。
• Satilサブセットでは、すべての手法が困難を訴えていたが、本手法はPCCが0.04、$ \bar{\psi} $が13.46を達成し、すべてのベースラインの中で最高の性能を示し、困難なシーンへの耐性を示した。
• 5つのテストセットすべてにおいて、本手法はすべてのベースラインを上回るか、同等の性能を発揮し、多様な水中シーンおよび劣化パターンに対応する有効性を確認した。