[論文レビュー] SCANet: Self-Paced Semi-Curricular Attention Network for Non-Homogeneous Image Dehazing

Yu Guo, Yuan Gao+5 more|arXiv (Cornell University)|Apr 17, 2023

Image Enhancement Techniques被引用数 4

ひとこと要約

本稿では、非一様な画像のホコリ除去のための自己スケジューリング半カリキュラム注意ネットワーク（SCANet）を提案する。特徴抽出を強化するために、独創的な「注意マップ生成－シーン再構築」パラダイムを採用し、明度に敏感な注意マップ生成と自己スケジューリング半カリキュラム学習戦略を活用することで、収束性が向上し学習の曖昧さが低減され、NTIREベンチマークにおいてPSNRおよびSSIMの両面で既存手法を上回る最先端の性能を達成した。FLOPsおよびパラメータ数も低く抑えられている。

ABSTRACT

The presence of non-homogeneous haze can cause scene blurring, color distortion, low contrast, and other degradations that obscure texture details. Existing homogeneous dehazing methods struggle to handle the non-uniform distribution of haze in a robust manner. The crucial challenge of non-homogeneous dehazing is to effectively extract the non-uniform distribution features and reconstruct the details of hazy areas with high quality. In this paper, we propose a novel self-paced semi-curricular attention network, called SCANet, for non-homogeneous image dehazing that focuses on enhancing haze-occluded regions. Our approach consists of an attention generator network and a scene reconstruction network. We use the luminance differences of images to restrict the attention map and introduce a self-paced semi-curricular learning strategy to reduce learning ambiguity in the early stages of training. Extensive quantitative and qualitative experiments demonstrate that our SCANet outperforms many state-of-the-art methods. The code is publicly available at https://github.com/gy65896/SCANet.

研究の動機と目的

• 非一様なホコリによる空間的に変化する劣化（ぼやけ、色歪み、コントラスト低下）に起因する複雑なシーンにおける課題に対処すること。
• 既存手法がしばしば失敗する、ホコリ濃度が高く明度変動が著しい領域におけるホコリ除去モデルのロバスト性を向上させること。
• 注意マップ生成のための自己スケジューリング半カリキュラム学習戦略を導入することで、多目的最適化の初期段階における学習の曖昧さを低減し、モデルの収束性を向上させること。
• 高品質な詳細再構築と計算効率の両立を実現する、軽量でありながら効果的なアーキテクチャの開発

提案手法

• 本手法は二本のブランチからなるネットワークを採用：非一様なホコリ分布に敏感な注意マップを生成する注意マップ生成ネットワーク（AGN）と、ホコリなし画像を再構築するシーン再構築ネットワーク（SRN）である。
• 入力画像内の明度差を用いて注意マップ生成を制約し、明度変化が著しい領域に高い注意を割り当てることを保証する。
• 多目的最適化の初期段階における学習の曖昧さを低減するため、段階的に簡単なサンプルから順次学習を進める自己スケジューリング半カリキュラム学習（SCL）戦略を導入する。
• L1損失（特徴量に対する：$\mathcal{L}_{sl1}^{f}$）、L1損失（注意マップに対する：$\mathcal{L}_{sl1}^{a}$）、知覚的損失（$\mathcal{L}_{p}$）、MS-SSIM損失（$\mathcal{L}_{\text{MS-SSIM}}$）、敵対的損失（$\mathcal{L}_{a}$）を組み合わせたマルチ損失目的関数を用いて学習を行う。
• 注意マップは$\mathcal{L}_{sl1}^{a}$により監視され、低重要度領域への過剰な注意を防ぎ、再構築の忠実性を向上させる。
• 学習プロセスでは、推論時ではなく訓練時のみに真値の注意マップ（$M_{GT}$）を用い、モデルが注意マップをエンドツーエンドに生成する能力を学習することを保証する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、現実世界のシーンにおけるホコリの非一様な分布を効果的に捉え、活用できるか？
• RQ2 複数の目的関数を最適化する初期段階において、学習の曖昧さを低減し収束性を向上させるための訓練戦略は何か？
• RQ3 明度に敏感な注意マップの監視は、高ホコリ・高コントラスト領域におけるテクスチャの再構築能力を向上させられるか？
• RQ4 自己スケジューリング半カリキュラム学習の統合は、非一様なホコリ除去ネットワークの性能と安定性をどのように向上させるか？
• RQ5 各構成要素（注意マップ生成、再構築、損失関数）が、全体のホコリ除去品質および効率性に果たす寄与度は何か？

主な発見

• SCANetは、統合されたNTIRE2020、NTIRE2021、NTIRE2023テストセットにおいて、PSNR 20.37、SSIM 0.6933を達成し、両指標で最先端の手法を上回った。
• アブレーションスタディの結果、注意マップ生成ネットワーク（AGN）を追加することで、PSNRが18.84から19.29に向上し、非一様なホコリ除去に不可欠であることが示された。
• 自己スケジューリング半カリキュラム学習（SCL）戦略を組み込むことで、PSNRが19.92から20.02に上昇し、収束性と性能の向上が確認された。
• MS-SSIMおよび敵対的損失を含むすべての損失関数を統合した完全なモデルが、最高のPSNR（20.37）とSSIM（0.6933）を達成し、マルチ損失設計の有効性が裏付けられた。
• SCANetは、同等のモデルと比較してFLOPsが低く、パラメータ数も少ない。RTX 3080 GPU上で1200×1600の画像1枚あたりの推論時間はわずか0.1962秒である。
• NTIRE2023テストセットにおける定性的な結果から、SCANetは濃密なホコリ領域のホコリ抑制に効果的であり、特に空や高明度領域において自然なテクスチャと色を保持していることが確認された。