[論文レビュー] Contrastive Semi-supervised Learning for Underwater Image Restoration via Reliable Bank

Shirui Huang, Keyan Wang+3 more|arXiv (Cornell University)|Mar 16, 2023

Image Enhancement Techniques被引用数 7

ひとこと要約

本論文では、信頼性の高い高品質な疑似ラベルのバンクとコントラスト正則化を導入することで、一般化性能の低さと確認バイアスを是正する、Mean-Teacherに基づく半教師あり学習フレームワークであるSemi-UIRを提案する。MUSIQを用いて信頼性の高い疑似ラベルを選択し、コントラスト学習によって過学習を低減することで、フルリファレンスおよびノンリファレンスのベンチマークで最先端の性能を達成する。

ABSTRACT

Despite the remarkable achievement of recent underwater image restoration techniques, the lack of labeled data has become a major hurdle for further progress. In this work, we propose a mean-teacher based Semi-supervised Underwater Image Restoration (Semi-UIR) framework to incorporate the unlabeled data into network training. However, the naive mean-teacher method suffers from two main problems: (1) The consistency loss used in training might become ineffective when the teacher's prediction is wrong. (2) Using L1 distance may cause the network to overfit wrong labels, resulting in confirmation bias. To address the above problems, we first introduce a reliable bank to store the "best-ever" outputs as pseudo ground truth. To assess the quality of outputs, we conduct an empirical analysis based on the monotonicity property to select the most trustworthy NR-IQA method. Besides, in view of the confirmation bias problem, we incorporate contrastive regularization to prevent the overfitting on wrong labels. Experimental results on both full-reference and non-reference underwater benchmarks demonstrate that our algorithm has obvious improvement over SOTA methods quantitatively and qualitatively. Code has been released at https://github.com/Huang-ShiRui/Semi-UIR.

研究の動機と目的

• 実世界のシナリオにおけるモデルの一般化性能の制限要因である、ラベル付き水中画像データの不足を解消すること。
• 信頼性の低い疑似ラベルによる影響を受けるため、半教師あり水中画像修復におけるMean-Teacher手法の不安定性を克服すること。
• L1ベースの一貫性損失が誤った予測に過学習を引き起こす可能性があるため、確認バイアスを軽減すること。
• 信頼性の高い疑似ラベルとコントラスト正則化を組み合わせることで、モデルのロバスト性と性能を向上させること。

提案手法

• 信頼性の高いバンクは、教師ネットワークの最高の出力を、NR-IQA指標の単調性特性に基づいて選択して保存する。
• 単調性に基づく実験的分析を通じて、MUSIQが最も信頼性の高いNR-IQA指標であることが特定され、信頼性の高い疑似ラベルの選択に用いられる。
• Mean-Teacherフレームワークにコントラスト正則化損失を拡張し、誤った予測への過学習を防ぐために特徴量の多様性を促進する。
• 学生ネットワークは、ラベル付きデータに対する教師付き損失、ラベルなしデータに対する一貫性損失、およびコントラスト損失の組み合わせにより訓練され、特徴量の一般化性能が向上する。
• 色のずれ、ガウスノイズ、グレースケールのデータ拡張戦略がロバストネスを向上させ、最適なパフォーマンスを得るために併用される。
• 教師ネットワークは、学生の重みの指数移動平均（EMA）を用いて更新され、安定した疑似ラベル生成が保証される。

実験結果

リサーチクエスチョン

• RQ1 信頼性の高い疑似ラベルバンクは、半教師あり水中画像修復における教師の予測の一貫性と品質を向上させるか？
• RQ2 ノイズの多い疑似ラベルを伴う半教師あり学習において、コントラスト正則化は確認バイアスと過学習を効果的に低減するか？
• RQ3 人間の知覚と最も一致し、信頼性の高い疑似ラベル選択に使用可能な非リファレンス画像品質評価（NR-IQA）指標はどれか？
• RQ4 信頼性の高いバンクとコントラスト正則化の統合は、標準的なMean-Teacherおよびベースライン半教師あり手法と比較して、性能とロバストネスの面で優れているか？
• RQ5 異なるデータ拡張戦略が、提案フレームワークにおける最終的な修復品質にどの程度の影響を及ぼすか？

主な発見

• 提案されたSemi-UIR手法は、EUVPベンチマークで最高のPSNR 24.59点とMUSIQ 51.66点を達成し、あらゆるアブレーション変種およびSOTA手法を上回る性能を示した。
• アブレーションスタディの結果、信頼性の高いバンクとコントラスト正則化を組み合わせることで最高の性能が得られ、ベースライン半教師あり手法に比べてEUVPでMUSIQが3.43ポイント向上した。
• MUSIQを用いた信頼性の高い疑似ラベル選択は、testRでNIMAに比べ0.31ポイント、PAQ2PIQに比べ0.20ポイントのPSNR向上をもたらした。
• 3つのデータ拡張戦略をすべて組み合わせた完全な手法は、EUVPで最高のSSIM（0.901）とMUSIQ（51.66）を達成し、統合的拡張の有効性を示した。
• 定性的な結果から、信頼性の高いバンクは色の歪みを防ぎ、コントラスト正則化は過剰強調を回避することが確認され、両者の補完的役割が裏付けられた。
• 中間訓練結果から、教師ネットワークは初期段階においても常に学生を上回り、両者が連携して向上する様子が観察され、一貫性学習メカニズムの有効性が検証された。