[論文レビュー] FFA-Net: Feature Fusion Attention Network for Single Image Dehazing

Qin Xu, Zhilin Wang+3 more|arXiv (Cornell University)|Nov 18, 2019

Image Enhancement Techniques参考文献 28被引用数 120

ひとこと要約

FFA-Netは、チャネルアテンションとピクセルアテンションを組み合わせ、局所的残差学習と適応的特徴融合を取り入れたFeature Attention（FA）モジュールを導入し、単一画像の去霧性能を大幅に向上させます。RESIDE SOTSデータセットで最先端の結果を達成します。

ABSTRACT

In this paper, we propose an end-to-end feature fusion at-tention network (FFA-Net) to directly restore the haze-free image. The FFA-Net architecture consists of three key components: 1) A novel Feature Attention (FA) module combines Channel Attention with Pixel Attention mechanism, considering that different channel-wise features contain totally different weighted information and haze distribution is uneven on the different image pixels. FA treats different features and pixels unequally, which provides additional flexibility in dealing with different types of information, expanding the representational ability of CNNs. 2) A basic block structure consists of Local Residual Learning and Feature Attention, Local Residual Learning allowing the less important information such as thin haze region or low-frequency to be bypassed through multiple local residual connections, let main network architecture focus on more effective information. 3) An Attention-based different levels Feature Fusion (FFA) structure, the feature weights are adaptively learned from the Feature Attention (FA) module, giving more weight to important features. This structure can also retain the information of shallow layers and pass it into deep layers. The experimental results demonstrate that our proposed FFA-Net surpasses previous state-of-the-art single image dehazing methods by a very large margin both quantitatively and qualitatively, boosting the best published PSNR metric from 30.23db to 36.39db on the SOTS indoor test dataset. Code has been made available at GitHub.

研究の動機と目的

• 不均一な霧の分布下での堅牢な単一画像去霧を動機づける
• 情報量の多い特徴とピクセルに選択的に焦点を当てるエンドツーエンドのネットワークを開発する
• 浅い情報を保持しつつ多レベル特徴融合集成を組み込む
• RESIDE SOTSで従来の去霧法より顕著な性能向上を実証する

提案手法

• Channel AttentionとPixel Attentionを組み合わせたFeature Attention（FA）モジュールを導入する
• Local Residual LearningとFAを用いた基本ブロックを構築し、重要でない情報をバイパスする
• Attention-based Feature Fusion（FFA）構造を用いて複数のグループアーキテクチャからの特徴を適応的に重み付け・融合する
• スキップ接続を含むグループアーキテクチャと、グローバル残差学習による最終再構成を組み立てる
• 画像復元品質のためにL1損失で最適化する
• RESIDE SOTS indoor/outdoorでデータ拡張とAdamオプティマイザを用いて訓練する

実験結果

リサーチクエスチョン

• RQ1 Combined Channel and Pixel Attentionモジュールは、霧の分布の不均一性とチャネル-wise情報を効果的に扱えるか？
• RQ2 局所的残差学習は訓練の安定性を向上させ、重要な低周波/透明な霧情報を保持できるか？
• RQ3 多レベル特徴にまたがる適応的特徴融合は浅いディテールを保持しつつ深い表現を強化し、従来の去霧法を上回ることができるか？

主な発見

• FFA-NetはRESIDE SOTSで従来法を上回るPSNRとSSIMを達成（Indoor PSNR 36.39 dB、SSIM 0.9886、Outdoor PSNR 33.57 dB、SSIM 0.9840）。
• FAモジュール（Channel + Pixel Attention）は厚い霧領域と高周波テクスチャを強調する適応ウェイトを提供する。
• Local Residual Learningは訓練を安定化させ、性能を向上させる。
• Attention-based Feature Fusionは浅い情報を保持し、深い特徴統合を効果的に可能にする。
• アブレーション実験は各構成要素（FA、LRL、FFA）がPSNRの改善に寄与し、全構成では縮小設定で35.77 dB、報告設定で36.39 dBを達成することを示す。