[論文レビュー] DEA-Net: Single image dehazing based on detail-enhanced convolution and content-guided attention

Zixuan Chen, Zewei He+1 more|arXiv (Cornell University)|Jan 12, 2023

Image Enhancement Techniques被引用数 21

ひとこと要約

DEA-Net は detail-enhanced convolution (DEConv) と content-guided attention (CGA) を U-Net に類似したアーキテクチャ内に組み込み、単一画像の除霧を改善し、最少パラメータで最先端の PSNR/SSIM を達成、推論の効率化のために DEConv を再パラメータ化可能。

ABSTRACT

Single image dehazing is a challenging ill-posed problem which estimates latent haze-free images from observed hazy images. Some existing deep learning based methods are devoted to improving the model performance via increasing the depth or width of convolution. The learning ability of convolutional neural network (CNN) structure is still under-explored. In this paper, a detail-enhanced attention block (DEAB) consisting of the detail-enhanced convolution (DEConv) and the content-guided attention (CGA) is proposed to boost the feature learning for improving the dehazing performance. Specifically, the DEConv integrates prior information into normal convolution layer to enhance the representation and generalization capacity. Then by using the re-parameterization technique, DEConv is equivalently converted into a vanilla convolution with NO extra parameters and computational cost. By assigning unique spatial importance map (SIM) to every channel, CGA can attend more useful information encoded in features. In addition, a CGA-based mixup fusion scheme is presented to effectively fuse the features and aid the gradient flow. By combining above mentioned components, we propose our detail-enhanced attention network (DEA-Net) for recovering high-quality haze-free images. Extensive experimental results demonstrate the effectiveness of our DEA-Net, outperforming the state-of-the-art (SOTA) methods by boosting the PSNR index over 41 dB with only 3.653 M parameters. The source code of our DEA-Net will be made available at https://github.com/cecret3350/DEA-Net.

研究の動機と目的

• デノミネーションと埋め込みによってCNNへ事前情報を組み込み、除霧におけるバニラ畳み込みの限界を動機づけて対処する。
• ディテール強化畳み込み（DEConv）を設計し、vanilla と four difference convolutions を統合してエッジ/グラデーション情報を強化する。
• 粗から細への方針で入力特徴に導かれ、チャネル特異の空間重要度マップを生成するコンテンツガイド付きアテンション（CGA）を導入する。
• CGA ベースの mixup 融合を提案し、受容野の異なるエンコーダ・デコーダ特徴をより良く融合して、受容野のミスマッチを緩和する。
• 効率的なパラメータ使用と推論の再パラメータ化によって、強力な除霧性能を示す。

提案手法

• DEConv を提案する。これは並列畳み込みのセット（vanilla + 4つの差分畳み込み：CDC, ADC, HDC, VDC）で、重みを再パラメータ化によって単一の同等カーネルに統合でき、実行時コストを回避する。
• 入力特徴に導かれ、粗→細の順でチャネル特異の空間重要度マップを生成する CGA を導入する（CGAを用いてチャネルと空間のアテンションを融合する）。
• 低レベルのエンコーダ特徴と高レベルのデコーダ特徴を適応的に融合する CGA ベースのミックスアップ融合を適用し、受容野の不一致を緩和する。
• 3段階のエンコーダ–デコーダ（U-Net風）DEA-Net を採用し、レベル1–2に DEB ブロック、レベル3に DEAB ブロックを配置し、L1 loss で訓練する。
• RESIDE（ITS/OTS 訓練; SOTS テスト）および Haze4K で訓練・評価し、実際のヘイズ画像を含む。

実験結果

リサーチクエスチョン

• RQ1 差分畳み込みを介して事前情報を埋め込むことで、バニラ畳み込みより除霧性能を向上させることができるか？
• RQ2 チャネル特異のコンテンツガイド付き空間アテンション（CGA）は、従来のアテンションより特徴マップ中の非一様な霞の分布をより良く捉えるか？
• RQ3 CGA ベースのミックスアップ融合は、U-Net風除霧ネットワークにおけるエンコーダ–デコーダの特徴結合と勾配フローを改善するか？
• RQ4 提案手法の DEA-Net は、コンパクトなパラメータ量で PSNR/SSIM において最先端の除霧法とどのように比較されるか？

主な発見

Model	Setting	PSNR (dB)	SSIM	# Param. (K)
Base_RB	Level 1	30.74	0.9729	2105
Base_FAB	Level 2	33.07	0.9824	2143
Model_RB_D	Level 3	31.01	0.9739	4467
Model_FAB_D	Level 3	33.67	0.9840	4505
Model_DEAB	Level 3	35.17	0.9866	4569
Model_FAB_D_CBAM	Level 3	34.68	0.9857	4493

• DEA-Net は、標準ベンチマークで SOTA 手法と比較して優れた PSNR/SSIM を達成しながら、約 3.65 百万のパラメータを使用する。
• DEConv は、ベースラインより PSNR を約 0.27–0.6 dB 改善し、再パラメータ化により推論コストをバニラ畳み込みと同一に維持する。
• CGA はチャネル特異の空間重要度マップを提供し、特徴学習を改善し、SSIM の向上に寄与する（アブレーションで 0.9729 から 0.9866 へ例）。
• CGA ベースのミックスアップ融合は、低レベルと高レベルの特徴を適応的に重み付けすることで、エンコーダ–デコーダの融合時の情報損失を低減する。
• DEConv および CGA を組み込んだモデル変種は段階的に改善を示し、DEAB 構成がアブレーションの中で最良の結果を達成する。
• 論文は DEA-Net が SOTS-indoor および関連データセットで最先端の結果を達成し、推論効率も高いと報告している。