[論文レビュー] Underwater Image Restoration via Contrastive Learning and a Real-world Dataset

Junlin Han, Mehrdad Shoeiby+8 more|arXiv (Cornell University)|Jun 20, 2021

Image Enhancement Techniques被引用数 5

ひとこと要約

本論文は、対照的学習と現実世界のデータセット（HICRD）を活用して、ペaired学習データが不要な状態で、画像の鮮明さ、色再現性、コントラストを向上させる、新しい非教師あり水中画像修復手法CWRを提案する。本手法は、生成的対抗ネットワーク（GAN）を用いた画像対画像変換モデル内での対照的学習フレームワークにより、RAW画像と修復済み画像間の相互情報量を最大化することで、最先端の性能を達成する。物理的に正確な参照画像（水の測定パラメータから導出）を用いた大規模データセットで検証された。

ABSTRACT

Underwater image restoration is of significant importance in unveiling the underwater world. Numerous techniques and algorithms have been developed in the past decades. However, due to fundamental difficulties associated with imaging/sensing, lighting, and refractive geometric distortions, in capturing clear underwater images, no comprehensive evaluations have been conducted of underwater image restoration. To address this gap, we have constructed a large-scale real underwater image dataset, dubbed `HICRD' (Heron Island Coral Reef Dataset), for the purpose of benchmarking existing methods and supporting the development of new deep-learning based methods. We employ accurate water parameter (diffuse attenuation coefficient) in generating reference images. There are 2000 reference restored images and 6003 original underwater images in the unpaired training set. Further, we present a novel method for underwater image restoration based on unsupervised image-to-image translation framework. Our proposed method leveraged contrastive learning and generative adversarial networks to maximize the mutual information between raw and restored images. Extensive experiments with comparisons to recent approaches further demonstrate the superiority of our proposed method. Our code and dataset are publicly available at GitHub.

研究の動機と目的

• 実世界のデータセットが不足し、正確な参照画像が限られるため、水中画像修復分野における包括的なベンチマーク評価が不十分であるという問題に対処すること。
• ペア学習データを必要としない、強力な非教師ありディープラーニング手法を開発すること。
• 測定された水のパラメータを用いた水中撮影モデルの物理的事前知識を活用し、正確な参照修復画像を生成することで、画像品質を向上させること。
• 測定された水のパラメータに基づく物理的正確な参照画像を備えた大規模な実世界データセットを用いて、修復手法の公平かつ客観的な評価を可能にすること。
• 今後の非教師ありおよび教師あり水中画像修復研究を支援するため、公開可能なコードとデータセットを提供することで、分野の前進を図ること。

提案手法

• 測定された拡散減衰係数（Kd）および水のパラメータから導出された、6,003枚のRAW水中画像と2,000枚の参照修復画像を含むHICRDデータセットの構築。
• 生成的対抗ネットワーク（GAN）を用いた非教師あり画像対画像変換モデルであるCWR（対照的水中修復）フレームワークの開発。
• ペア学習なしの条件下で、RAW画像と修復画像の表現間の相互情報量を最大化するための対照的学習の採用。これにより、特徴量の整合性が向上する。
• RAW画像と修復画像間の共有表現を学習するためのシアンプスネットワークアーキテクチャの採用。対照的損失が特徴類似度を最適化する。
• HICRDのペアなしサブセットを用いて学習することで、RAW画像から修復画像への写像のエンドツーエンド学習を可能にする。
• 水中撮影モデルからの物理的事前知識を統合し、復元プロセスをガイドすることで、現実性と正確性が向上する。

実験結果

リサーチクエスチョン

• RQ1 物理的に正確な参照画像を備えた大規模で実世界の水中画像データセットは、修復手法のより信頼性の高いベンチマーク評価を可能にするか？
• RQ2 ペア学習データが存在しない状況下で、対照的学習がRAW画像と修復画像間の特徴量を効果的に整合させることができるか？
• RQ3 提案されたCWR手法は、視覚的品質および定量的指標において、既存の非教師ありおよび教師あり水中画像修復手法を上回る性能を示すか？
• RQ4 拡散減衰係数（Kd）などの物理的パラメータは、実世界の状況下で参照修復画像の正確性をどの程度向上させるか？
• RQ5 現実的で大規模なデータセットを用いた場合、CWR手法の性能は、フルリファレンスとノンリファレンスの評価指標においてどのように比較されるか？

主な発見

• 6,003枚のRAW画像と2,000枚の参照修復画像を含むHICRDデータセットは、水中画像修復分野における大規模で物理的根拠を持つベンチマークを提供する。
• CWR手法は、DCP、UDCP、赤チャネルプライアなど従来の手法と比較して優れた性能を示し、色再現性とコントラストの向上が確認された。
• CWRは、フルリファレンスおよびノンリファレンスの両方の指標において、最先端の学習ベースの修復手法を上回り、優れた一般化性能と現実性を示した。
• 対照的学習は、ペア学習なしの状況下でもRAW画像と修復画像間の特徴量整合性を顕著に向上させ、効果的な非教師あり学習を可能にした。
• 測定された水のパラメータ（Kd）を用いて参照画像を生成することで、仮定や推定パラメータに依存する手法と比較して、より正確で物理的に妥当な復元出力が得られた。
• 本手法は、特にサンゴ礁環境において色とコントラストの復元に優れた耐性を示し、多様な水中シーンにわたる強靭性を示した。