[論文レビュー] Perceiving and Modeling Density is All You Need for Image Dehazing

Ye Tian, Mingchao Jiang+5 more|arXiv (Cornell University)|Nov 18, 2021

Image Enhancement Techniques参考文献 28被引用数 25

ひとこと要約

本論文はSHA-Netを導入します。Separable Hybrid Attentionと密度マップを介して霧密度を知覚し、不均一な霧分布をモデル化するデ hazingネットワークで、Haze4kとSOTS indoorデータセットで最先端の成果を達成。

ABSTRACT

In the real world, the degradation of images taken under haze can be quite complex, where the spatial distribution of haze is varied from image to image. Recent methods adopt deep neural networks to recover clean scenes from hazy images directly. However, due to the paradox caused by the variation of real captured haze and the fixed degradation parameters of the current networks, the generalization ability of recent dehazing methods on real-world hazy images is not ideal.To address the problem of modeling real-world haze degradation, we propose to solve this problem by perceiving and modeling density for uneven haze distribution. We propose a novel Separable Hybrid Attention (SHA) module to encode haze density by capturing features in the orthogonal directions to achieve this goal. Moreover, a density map is proposed to model the uneven distribution of the haze explicitly. The density map generates positional encoding in a semi-supervised way. Such a haze density perceiving and modeling capture the unevenly distributed degeneration at the feature level effectively. Through a suitable combination of SHA and density map, we design a novel dehazing network architecture, which achieves a good complexity-performance trade-off. The extensive experiments on two large-scale datasets demonstrate that our method surpasses all state-of-the-art approaches by a large margin both quantitatively and qualitatively, boosting the best published PSNR metric from 28.53 dB to 33.49 dB on the Haze4k test dataset and from 37.17 dB to 38.41 dB on the SOTS indoor test dataset.

研究の動機と目的

• 実世界の霧（劣化が空間的に変化し、従来モデルの固定パラメータで捉えられない）という課題に対処する。
• 不均一な霧分布に対処するための密度を知覚・モデリングするフレームワークを提案。
• SHAと密度マップを組み合わせた効率的なネットワークアーキテクチャを開発し、品質を改善しつつ計算量と性能のトレードオフを良好にする。

提案手法

• Separable Hybrid Attention (SHA) を導入し、水平方向および垂直方向のプーリングとチャネル間の相互作用を介して霧密度をエンコードする。
• pseudo-霧なし特徴と霧入り入力との共関係をエンコードする密度マップを提案し、エンドツーエンドで精練する。
• 粗い霧なしヒントを得る浅層、特徴を精練する密度マップモジュール、画素レベルのテクスチャ復元を担う深層の三部構成のネットワークを設計する。
• 適応的特徴融合（AFF）とマルチブランチハイブリッドアテンション（MHA）ブロックを用いた粗から細への戦略を採用する。
• 合成データセット（RESIDEとHaze4k）上でCharbonnier損失を用いて訓練し、Haze4kとSOTS indoorデータセットで評価する。

実験結果

リサーチクエスチョン

• RQ1 実世界の霧画像に対する除去性能を向上させるために、霧密度をどのように効果的に知覚・モデリングできるか？
• RQ2 SHAと密度マップを併用すると特徴の精練と復元画像の品質が向上するか？
• RQ3 軽量で効率的なアーキテクチャが、実用的な速度とパラメータ効率を維持しつつ最先端の除霧性能を達成できるか？

主な発見

手法	Haze4k PSNR (dB)	Haze4k SSIM	SOTS PSNR (dB)	SOTS SSIM
DCP	14.01	0.76	15.09	0.76
NLD	15.27	0.67	17.27	0.75
DehazeNet	19.12	0.84	20.64	0.80
AOD-Net	17.15	0.83	19.82	0.82
GDN	23.29	0.93	32.16	0.98
MSBDN	22.99	0.85	33.79	0.98
FFA-Net	26.96	0.95	36.39	0.98
AECR-Net	-	-	37.17	0.99
DMT-Net	28.53	0.96	-	-
Ours (SHA-Net)	33.49	0.98	38.41	0.99

• SHAはベースラインの性能を著しく向上させ、アブレーションで大きなPSNRゲインに寄与する。
• 密度マップは空間的な霧密度をモデリングすることにより実質的な改善を提供し、顕著なPSNRゲインを生む。
• 深層と密度マップの併用によりテクスチャ復元がさらに向上し、それらを省略したアブレーションよりPSNRが向上する。
• 提案手法はHaze4kで33.49 dB PSNRと0.98 SSIM、SOTS indoorで38.41 dB PSNRと0.99 SSIMを達成し、リストされたすべてのSOTA手法を上回る。
• 密度マップとSHAは他のアテンション機構と比較してFLOPsとパラメータが有利であり、良好な複雑さと性能のトレードオフを示す。