[論文レビュー] Single Underwater Image Restoration by Contrastive Learning

Junlin Han, Mehrdad Shoeiby+7 more|arXiv (Cornell University)|Mar 17, 2021

Image Enhancement Techniques参考文献 14被引用数 6

ひとこと要約

本稿では、対照的学習と生成的敵対的ネットワークを活用して、生画像と修復済み水中画像のパッチ間の相互情報量を最大化する、新しい非教師あり画像対画像変換手法である対照的水中修復（CWR）を提案する。本手法は、新しい大規模な実世界水中画像データセット（HICRD）上で最先端の性能を達成した。CWRは、アーティファクトを低減させながらも、画像の構造と色の忠実性を保持する点で、既存の手法を上回っている。

ABSTRACT

Underwater image restoration attracts significant attention due to its importance in unveiling the underwater world. This paper elaborates on a novel method that achieves state-of-the-art results for underwater image restoration based on the unsupervised image-to-image translation framework. We design our method by leveraging from contrastive learning and generative adversarial networks to maximize mutual information between raw and restored images. Additionally, we release a large-scale real underwater image dataset to support both paired and unpaired training modules. Extensive experiments with comparisons to recent approaches further demonstrate the superiority of our proposed method.

研究の動機と目的

• 光の吸収、散乱、波長依存減衰によって引き起こされる水中画像の視覚的品質の低さという課題に対処すること。
• 教師ありペアデータを必要としない、耐障害性の高い非教師あり画像対画像変換フレームワークを構築し、実世界の水中画像を修復すること。
• ペア・アンペア両方の学習をサポートする大規模かつ高解像度の実世界水中画像データセット（HICRD）を構築することにより、モデルの汎化性能を向上させること。
• 生画像と修復済み画像の対応する画像パッチ間の相互情報量を最大化することで、コンテンツと色の対応関係を保持すること。
• 対照的学習とGANベースの生成モデリングを組み合わせることで、水中画像修復分野における最先端の性能を達成すること。

提案手法

• CWRは、ResNetベースの生成器とPatchGAN判別器を用いて、水中画像修復を画像対画像変換問題として定式化する。
• モデルは、生画像と修復済み画像の局所的パッチ間の相互情報量を最大化するための、PatchNCE損失を用いた対照的学習フレームワークを採用する。
• ResNetエンコーダーから抽出された特徴量を処理する2層のMLPプロジェクションヘッドが、対照的表現学習を可能にする。
• 生成画像のリアルさ、特徴量の対応関係、構造的一致性を保証するため、敵対的損失（L_GAN）、PatchNCE対照的損失（L_PatchNCE）、アイデンティティ損失（L_IDT）を組み合わせた目的関数を採用する。
• 総損失は以下の通り定義される：L(G,D,H) = λ_GAN·L_GAN + λ_NCE·L_PatchNCE + λ_IDT·L_IDT、ここで λ_GAN = λ_NCE = λ_IDT = 1。
• 判別器にはスペクトル正規化、生成器にはインスタンス正規化を適用し、Adam最適化アルゴリズムを用い、初期学習率を0.0002で線形に減少させる。

実験結果

リサーチクエスチョン

• RQ1 ペアラベルなしの条件下で、対照的学習が生画像と修復済み水中画像パッチ間のコンテンツおよび色の対応関係を効果的に捉えることができるか？
• RQ2 提案手法CWRは、既存の画像対画像変換および水中画像修復モデルと比較して、画像の構造と色の忠実性をどの程度保持しているか？
• RQ3 大規模な実世界水中画像データセット（HICRD）は、水中画像修復モデルの性能と汎化性能をどの程度向上させるか？
• RQ4 対照的学習に基づくアプローチは、従来の手法および学習ベースの水中画像強調手法と比較して、定量的および定性的な指標の両方で優れているか？
• RQ5 対照的学習とGANの統合により、より現実的でアーティファクトの少ない水中画像修復が達成できるか？

主な発見

• CWRは、HICRDテストセットにおいて、比較対象のすべての手法と比べて最小のMSE（127.23）と最大のPSNR（26.88）を達成した。
• CWRは、生画像と修復済み画像間の構造的類似性が優れていることを示す、最高のSSIM（0.834）を達成した。
• FID（18.20）では2位となり、生成画像のリアルさが高く、UIQM（5.25）でも強く、人間の視覚的認識と整合している。
• 定性的な結果から、CWRはアーティファクトを最小限に抑え、シャープで自然な画像を生成し、従来の手法や学習ベースのベースラインを上回っている。
• 1842×980解像度で、6,003枚の低品質、3,673枚の高品質、2,000枚の修復済み画像を含むHICRDデータセットは、ペアおよびアンペア両設定における、堅牢な評価と学習を可能にした。
• CWRは、全参照および非参照のすべての指標において、CUT、CycleGAN、UWCNN、Retinex、Fusion、DCP、IBLAといった最先端手法を顕著に上回った。