[論文レビュー] Deep Underwater Image Enhancement

Saeed Anwar, Chongyi Li+1 more|arXiv (Cornell University)|Jul 10, 2018

Image Enhancement Techniques参考文献 34被引用数 125

ひとこと要約

データ駆動型の CNN（UWCNN）は、劣化した画像とクリーン画像の残差を学習することにより水中画像を強化し、異なる水タイプのための複数モデルを合成水中データを用いて訓練し、コントラストを向上させる後処理ステップ（UWCNN+）を導入します。実データおよび合成データの水中画像で従来手法を上回ります。

ABSTRACT

In an underwater scene, wavelength-dependent light absorption and scattering degrade the visibility of images, causing low contrast and distorted color casts. To address this problem, we propose a convolutional neural network based image enhancement model, i.e., UWCNN, which is trained efficiently using a synthetic underwater image database. Unlike the existing works that require the parameters of underwater imaging model estimation or impose inflexible frameworks applicable only for specific scenes, our model directly reconstructs the clear latent underwater image by leveraging on an automatic end-to-end and data-driven training mechanism. Compliant with underwater imaging models and optical properties of underwater scenes, we first synthesize ten different marine image databases. Then, we separately train multiple UWCNN models for each underwater image formation type. Experimental results on real-world and synthetic underwater images demonstrate that the presented method generalizes well on different underwater scenes and outperforms the existing methods both qualitatively and quantitatively. Besides, we conduct an ablation study to demonstrate the effect of each component in our network.

研究の動機と目的

• 波長依存の減衰と散乱にもかかわらず、頑健な水中画像強化を動機づける。
• 劣化した水中画像から潜在的な明瞭画像を直接再構成するデータ駆動型のエンドツーエンドCNN（UWCNN）を提案する。
• 異なる水タイプと劣化レベルに対応するモデルを訓練するために多様な水中データセットを合成する。
• UWCNNが実世界および合成画像の両方に一般化することを示し、アブレーション研究を通じて構成要素の寄与を分析する。

提案手法

• 潜在画像を明示的な B および T 推定なしに再構成するイメージ復元タスクとして水中画像強化を定式化する。
• ネットワークが劣化画像とクリーン画像の差を学習し、それを入力に戻して加算する残差学習アプローチを採用する（I = U + Δ(U, θ)）。
• プーリングやバッチ正規化を用いず、三つのブロックと密結合連結を持つ密結合型全畳み込みアーキテクチャをエンドツーエンドで訓練する。
• NYU-v2 RGB-D から異なる水タイプのモデリング減衰係数を用いて合成データを作成し、十種類の水中画像形成タイプに対応する十個のモデルを訓練する。
• 損失関数として MSE（再構成誤差）と SSIM を組み合わせた損失（L = L_MSE + L_SSIM）を採用し、ADAM（lr = 0.0002）で最適化する。
• 実世界画像向けにコントラストを高めるための色相/彩度の正規化を含む後処理ステップ（UWCNN+）を組み込む。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型CNNが合成水中データで訓練される場合、色かぶりや視界が異なる実水中シーンへ一般化できるか。
• RQ2 密結合アーキテクチャを用いた残差学習は、直接マッピング方式と比べて復元品質を改善するか。
• RQ3 合成水タイプデータセットは、開放海域と沿岸の濁りの両方に対する頑健性にどのような影響を与えるか。
• RQ4 実水中画像における後処理ステージの追加が知覚品質とコントラストに与える影響はどの程度か。

主な発見

Types	MSE_RAW	MSE_RED	MSE_UDCP	MSE_ODM	MSE_UIBLA	MSE_UWCNN	PSNR_RAW	PSNR_RED	PSNR_UDCP	PSNR_ODM	PSNR_UIBLA	PSNR_UWCNN	SSIM_RAW	SSIM_RED	SSIM_UDCP	SSIM_ODM	SSIM_UIBLA	SSIM_UWCNN
Type-1	2367.3	3489.7	2062.3	2508.6	2812.6	587.70	15.535	15.596	15.757	16.085	15.079	21.790	0.7065	0.7406	0.7629	0.7240	0.6957	0.8558
Type-3	2676.5	4953.2	3380.6	3130.1	3490.1	747.50	14.688	12.789	14.474	14.282	13.442	20.251	0.5788	0.6639	0.6614	0.6765	0.5765	0.7951
Type-5	4851.2	8385.8	6708.9	3488.9	4563.7	1295.1	12.142	11.123	10.862	14.123	12.611	17.517	0.4219	0.5934	0.4269	0.6441	0.4748	0.7266
Type-7	7381.1	9809.8	8591.6	5337.1	6737.9	2974.1	10.171	9.991	9.467	12.266	10.753	14.219	0.1794	0.3192	0.1624	0.4178	0.2202	0.4920
Type-9	9060.6	5952.3	9500.1	10634.0	8433.1	4121.5	9.502	11.620	9.317	9.302	10.090	13.232	0.1794	0.3192	0.1624	0.4178	0.2202	0.4920
Water-Type I	1449.0	936.9	1020.7	1272.0	1492.2	209.70	17.356	19.545	18.816	18.095	17.488	25.927	0.8621	0.8816	0.8264	0.8172	0.7449	0.9376
Water-Type II	941.9	851.3	1466.0	1401.9	1141.4	251.60	20.595	20.791	17.204	17.610	18.064	24.817	0.8716	0.8837	0.8387	0.8251	0.8017	0.9236
Water-Type III	1851.0	2240.0	2337.6	1701.1	1697.8	456.40	16.556	16.690	14.924	16.710	17.100	22.633	0.7526	0.7911	0.7587	0.7546	0.7655	0.8795

• UWCNN は ten water-type データセット全体で RAW、RED、UDCP、ODM、UIBLA のベースラインと比べて定量的指標（MSE、PSNR、SSIM）で優位を示す。
• 合成テストセットでは、UWCNN系列は競合手法と比較して MSE を著しく低減し、PSNR および SSIM を向上させる（例：Type-1: MSE 587.70 対 高ベースライン; PSNR 21.790 は他が約 15–16 程度; SSIM 0.8558 は約 0.70–0.76）。
• UWCNN+（後処理版）は実画像で色彩感とコントラストをさらに改善し、色のアーティファクトを導入しない。
• 定性的結果は、UWCNN が緑がかった色味を除去し自然な質感を回復することを示し、実画像において ODM および UIBLA を上回る。
• 本論文はアブレーション研究を提供し、残差学習、密結合連結、およびエンドツーエンド訓練が全体性能に寄与することを示している。