[論文レビュー] Restoring Vision in Hazy Weather with Hierarchical Contrastive Learning

Tao Wang, Guangpin Tao+5 more|arXiv (Cornell University)|Dec 22, 2022

Image Enhancement Techniques被引用数 4

ひとこと要約

本稿では、階層的相互作用モジュールを用いて特徴の統合を強化し、正例および負例の表現を統合的に最適化する階層的対照損失（HCL）を導入する、新しい画像霞まし除去手法である階層的対照霞まし除去（HCD）を提案する。HCDは、SOTS、HazeRD、DENSE-HAZEの各データセットで最先端の性能を達成しており、従来手法に比べてPSNRが最大+1.14 dB向上し、SSIMおよびLPIPSスコアも向上している。

ABSTRACT

Image restoration under hazy weather condition, which is called single image dehazing, has been of significant interest for various computer vision applications. In recent years, deep learning-based methods have achieved success. However, existing image dehazing methods typically neglect the hierarchy of features in the neural network and fail to exploit their relationships fully. To this end, we propose an effective image dehazing method named Hierarchical Contrastive Dehazing (HCD), which is based on feature fusion and contrastive learning strategies. HCD consists of a hierarchical dehazing network (HDN) and a novel hierarchical contrastive loss (HCL). Specifically, the core design in the HDN is a hierarchical interaction module, which utilizes multi-scale activation to revise the feature responses hierarchically. To cooperate with the training of HDN, we propose HCL which performs contrastive learning on hierarchically paired exemplars, facilitating haze removal. Extensive experiments on public datasets, RESIDE, HazeRD, and DENSE-HAZE, demonstrate that HCD quantitatively outperforms the state-of-the-art methods in terms of PSNR, SSIM and achieves better visual quality.

研究の動機と目的

• 従来のディープラーニングベースの霞まし除去手法が階層的特徴を十分に活用せず、負例指向の監視が欠如しているという限界を是正すること。
• CNNベースのアーキテクチャにおいて、浅い層と深い層の間でマルチスケール特徴を統合することで、特徴表現を向上させること。
• 正例および負例ペairを活用する新しい階層的対照損失（HCL）を導入することで、モデルの一般化能力と復元品質を向上させること。
• 合成および実世界のデータセットにおいて、PSNR、SSIM、および知覚的品質の観点から、優れた霞まし除去性能を達成すること。

提案手法

• 提案された階層的霞ましネットワーク（HDN）は、階層的特徴抽出器、階層的相互作用モジュール（HIM）、およびマルチ出力画像再構成モジュールを統合し、マルチスケールの特徴統合を可能にする。
• HIMは、高レベルの意味的特徴を浅い層に伝搬することでノイズを抑制し、低レベルの詳細情報を深い層に統合することでより豊かな表現を得る双方向の特徴精錬を実現する。
• 階層的対照損失（HCL）は、正例ペア（例：綺麗な画像とその霞まし除去後の画像）間の類似性を最大化し、負例ペア（例：霞まし入力と綺麗な画像）間の類似性を最小化することで、ネットワークの複数の段階で最適化を行う。
• HCLは階層的にペairedされた例示を対象とし、異なるスケールでの特徴を対比させることで、モデルが頑健な表現を学習できるようにする。
• 再構成損失とHCLの組み合わせにより、エンド・トゥ・エンドで学習が行われ、ピクセル単位の忠実性と知覚的品質の両方が向上する。
• HCLは、GridDehazeNet、FFA-Net、MSBDN、AECR-Netなどの他の最先端ネットワークへも適用可能であり、PSNRとSSIMスコアを向上させることを示している。

実験結果

リサーチクエスチョン

• RQ1 複数スケールにわたる階層的特徴統合は、PSNRおよびSSIMの観点から霞まし除去性能の向上に寄与するか？
• RQ2 対照損失による負例指向の学習を組み込むことで、モデルが霞まし成分と綺麗なコンテンツを区別する能力が向上するか？
• RQ3 標準的な監視を超えて、階層的対照損失戦略が霞まし除去ネットワークにおける特徴表現を向上させられるか？
• RQ4 提案されたHCD手法は、合成および実世界の霞まし除去ベンチマークにおいて、最先端手法と比較して優れた性能を示すか？
• RQ5 提案されたHCL損失は、異なるネットワークアーキテクチャに一般化可能か？

主な発見

• HCDはSOTSの屋内サブセットで+1.14 dB、屋外サブセットで+0.45 dBのPSNR向上を達成し、従来の最先端手法を著しく上回った。
• HazeRDデータセットでは+0.83 dBのPSNR向上を達成し、DENSE-HAZEでは+0.61 dBの向上を示した。
• 知覚的指標では、SOTSでLPIPSスコアが0.0416と最低となり、ベースラインと比較して優れた知覚的品質を示した。
• GridDehazeNet や FFA-Net などの既存ネットワークにHCLを適用した場合、PSNRが最大+1.08 dB、SSIMが+0.0051向上し、その汎用性を示した。
• 除去実験では、収束速度の向上がなくてもHCLがテストPSNRを顕著に向上させることを確認しており、表現学習における有効性を裏付けた。
• 視覚的比較では、MPR や OSFD といった最先端手法と比較して、HCDはより明るく、曇りが少なく、アーチファクトの少ない画像を生成した。