[論文レビュー] Shallow-UWnet : Compressed Model for Underwater Image Enhancement

Ankita Naik, Apurva Swarnakar+1 more|arXiv (Cornell University)|Jan 6, 2021

Image Enhancement Techniques参考文献 8被引用数 25

ひとこと要約

Shallow-UWnet は、最小限のパラメータ数と高速なテストを実現しつつ、複数データセットにおいて最新モデルと同等の結果を達成する水中画像強化のライトウェイト CNN を提示します。

ABSTRACT

Over the past few decades, underwater image enhancement has attracted increasing amount of research effort due to its significance in underwater robotics and ocean engineering. Research has evolved from implementing physics-based solutions to using very deep CNNs and GANs. However, these state-of-art algorithms are computationally expensive and memory intensive. This hinders their deployment on portable devices for underwater exploration tasks. These models are trained on either synthetic or limited real world datasets making them less practical in real-world scenarios. In this paper we propose a shallow neural network architecture, extbf{Shallow-UWnet} which maintains performance and has fewer parameters than the state-of-art models. We also demonstrated the generalization of our model by benchmarking its performance on combination of synthetic and real-world datasets.

研究の動機と目的

• ポータブルデバイス上でリアルタイムの水中画像強化を実現するために、モデルサイズと計算量を削減する。
• 効率性を念頭に置いた浅いCNNアーキテクチャ（Shallow-UWnet）を提案する。
• 合成データと実世界の水中データセットでの一般化を実証する。
• 標準的品質指標を用いて複数データセットでの最先端手法とのベンチマークを行う。

提案手法

• 3つの密結合畳み込みブロックが直列に配置された浅い全結合畳み込みネットワーク。
• 入力画像は256x256 RGB、初期3×3畳み込みで64特徴マップ、ReLU、3つのConvBlockと dropoutと ReLU、最終3×3畳み込みで強調画像を生成。
• スキップ接続は生の入力画像と各ConvBlockの出力を結合し、基画像情報を保持。
• 損失はMSE（ピクセル毎）とVGG知覚損失を組み合わせ、L_TOTAL = L_MSE + L_VGG。
• 訓練はAdamオプティマイザ（lr=0.0002）、ドロップアウト=0.2、バッチサイズ=1；データセット EUVP；50エポック（約10時間）。
• 評価はPSNR、SSIM、UIQM 指標を複数の水中データセットで使用。

実験結果

リサーチクエスチョン

• RQ1 浅いネットワークは、さまざまな水中データセットで深いモデルと競合する強化品質を達成できるか？
• RQ2 提案アーキテクチャは合成画像と実世界の水中画像の間で良く一般化するか？
• RQ3 水中画像強化におけるモデルサイズ、速度、品質のトレードオフはどうなるか？
• RQ4 Shallow-UWnet は WaterNet、FUnIE-GAN、Deep SESR に対して標準ベンチマークでどう機能するか？

主な発見

データセット	モデル	PSNR	SSIM	UIQM
EUVP-Dark	WaterNet	24.43±4.64	0.82±0.08	2.94±0.38
EUVP-Dark	FUnIE-GAN	26.19±2.87	0.82±0.08	2.88±0.41
EUVP-Dark	Deep SESR	25.30±2.63	0.81±0.07	2.98±0.37
EUVP-Dark	Shallow-UWnet	27.39±2.70	0.83±0.07	2.85±0.37
UFO-120	WaterNet	23.12±3.31	0.73±0.07	2.94±0.38
UFO-120	FUnIE-GAN	24.72±2.57	0.74±0.06	2.88±0.41
UFO-120	Deep SESR	26.46±3.13	0.78±0.07	2.98±0.37
UFO-120	Shallow-UWnet	25.20±2.88	0.73±0.07	2.85±0.37
UIEB	WaterNet	19.11±3.68	0.79±0.09	3.02±0.34
UIEB	FUnIE-GAN	19.13±3.91	0.73±0.11	2.99±0.39
UIEB	Deep SESR	19.26±3.56	0.73±0.11	2.95±0.39
UIEB	Shallow-UWnet	18.99±3.60	0.67±0.13	2.77±0.43

• Shallow-UWnet は最先端手法と定量的に同等の性能を、はるかに少ないパラメータで達成する。
• モデルは 2,19,840 パラメータを持ち、圧縮と速度の利点を示す（Compression Ratio と Testing speed は表2に記載）。
• EUVP-Dark では Shallow-UWnet が比較対象のモデルの中で最高の PSNR、SSIM、UIQM を達成。
• UFO-120 では Shallow-UWnet は Deep SESR に次いで PSNR/SSIM/UIQM で2位。
• UIEB では Shallow-UWnet は競合する UIQM と PSNR/SSIM を達成し、WaterNet が UIEBD で訓練されたため時に上回ることがある。
• 全体として Shallow-UWnet は多様なデータセットで良好に一般化し、パラメータ数の削減と高速なテストのおかげでリアルタイムに近い性能を実現する。）
• table_headers(翻訳後)部品
• table_headers translates to: