[論文レビュー] Complementary Feature Enhanced Network with Vision Transformer for Image Dehazing

Dong Zhao, Jia Li+2 more|arXiv (Cornell University)|Sep 15, 2021

Image Enhancement Techniques被引用数 10

ひとこと要約

本論文は、反射率とシャドー予測を用いた内在的画像分解を活用し、色ごとおよびテクスチャごとの補完的特徴を学習する、ハイブリッド局所-グローバル Vision Transformer (HyLoG-ViT) を用いた補完的特徴強化フレームワークを提案する。この手法は、均一な、非均一な、および夜間の画像の霞まし除去ベンチマークで最先端の性能を達成し、PSNR 29.582 および SSIM 0.9617 の結果を示した。

ABSTRACT

Conventional CNNs-based dehazing models suffer from two essential issues: the dehazing framework (limited in interpretability) and the convolution layers (content-independent and ineffective to learn long-range dependency information). In this paper, firstly, we propose a new complementary feature enhanced framework, in which the complementary features are learned by several complementary subtasks and then together serve to boost the performance of the primary task. One of the prominent advantages of the new framework is that the purposively chosen complementary tasks can focus on learning weakly dependent complementary features, avoiding repetitive and ineffective learning of the networks. We design a new dehazing network based on such a framework. Specifically, we select the intrinsic image decomposition as the complementary tasks, where the reflectance and shading prediction subtasks are used to extract the color-wise and texture-wise complementary features. To effectively aggregate these complementary features, we propose a complementary features selection module (CFSM) to select the more useful features for image dehazing. Furthermore, we introduce a new version of vision transformer block, named Hybrid Local-Global Vision Transformer (HyLoG-ViT), and incorporate it within our dehazing networks. The HyLoG-ViT block consists of the local and the global vision transformer paths used to capture local and global dependencies. As a result, the HyLoG-ViT introduces locality in the networks and captures the global and long-range dependencies. Extensive experiments on homogeneous, non-homogeneous, and nighttime dehazing tasks reveal that the proposed dehazing network can achieve comparable or even better performance than CNNs-based dehazing models.

研究の動機と目的

• 畳み込みニューラルネットワーク（CNN）ベースの霞まし除去モデルの限界、すなわち解釈性の低さと長距離依存関係の不適切なモデリングを解決する。
• 畳み込み層のコンテンツ独立性と局所性バイアスを克服するために、新しい特徴学習フレームワークを導入する。
• 統合ネットワーク内で補助タスクを通じて明示的に補完的特徴を学習することにより、霞まし除去の性能を向上させる。
• 局所的およびグローバルな画像依存関係を効果的に捉えるために、ハイブリッド局所-グローバル Vision Transformer (HyLoG-ViT) を設計する。
• 夜間や非均一な霞がかかる状況を含む、多様な霞まし除去シナリオにおいて、提案フレームワークの有効性を示す。

提案手法

• 複数のサブタスク（反射率とシャドー予測）がタスク固有の補完的特徴を学習し、主タスクの霞まし除去を支援する補完的特徴強化フレームワークを提案する。
• 反射率ブランチとシャドー・ブランチからの最も有用な特徴を適応的に統合・選択する、補完的特徴選択モジュール（CFSM）を導入する。
• 局所的およびグローバルな ViT パath を並列に持つハイブリッド局所-グローバル Vision Transformer (HyLoG-ViT) ブロックを設計し、同時に局所的テクスチャとグローバルなコンテキストをモデル化する。
• 3×3 畳み込み層を用いて局所的およびグローバルな ViT パath からの特徴を統合し、位置符号化に依存せずに特徴表現を強化する。
• 視覚的品質と構造的忠実度を向上させるために、L1、知覚的、敵対的損失を組み合わせた損失関数を用いてエンドツーエンドのネットワークを訓練する。
• 内在的画像分解を補助タスクとして活用し、ネットワークが色ごとの（反射率）およびテクスチャごとの（シャドー）特徴を学習するのを支援する。

実験結果

リサーチクエスチョン

• RQ1 内在的画像分解のような補助タスクを通じて補完的特徴を学習することは、標準的な CNN と比較して、霞まし除去の性能を向上させるか？
• RQ2 補完的特徴選択モジュール（CFSM）は、異なるサブタスクからの関連特徴を効果的に選択・統合できるか？
• RQ3 局所的およびグローバルなアテンションを組み合わせた提案された HyLoG-ViT ブロックは、標準の ViT や CNN よりも、霞まし除去における長距離依存関係のモデリングで優れているか？
• RQ4 位置符号化と特徴統合メカニズムは、HyLoG-ViT アーキテクチャにおける最終的な霞まし除去性能にどのような影響を与えるか？
• RQ5 提案されたフレームワークは、夜間や非均一な霞がかかる状況を含む、多様な霞まし除去シナリオに一般化可能か？

主な発見

• 提案手法はテストセットで PSNR 29.582 および SSIM 0.9617 を達成し、既存の CNN ベースの霞まし除去モデルを上回った。
• アブレーションスタディの結果、CFSM を削除すると PSNR が 0.671 dB 減少し、SSIM が 0.0029 減少した。これにより、CFSM が特徴統合において重要な役割を果たしていることが確認された。
• HyLoG-ViT ブロックは最高の性能（PSNR: 29.582、SSIM: 0.9617）を達成し、単独の CNN や ViT、逐次スタックされた ViT 変種を上回った。
• 局所的およびグローバルな特徴を統合する 3×3 畳み込み層は不可欠である。要素ごとの加算による削除では、PSNR が 28.34 に低下し、SSIM が 0.955 に低下した。
• 位置符号化は最小限の利点を示した。モデルは位置符号化なしで最も良好に動作し、ハイブリッドアーキテクチャのインダクティブバイアスが霞まし除去に十分であることを示唆している。
• 反射率とシャドーのサブタスクの共同学習が最高の性能をもたらし、補完的特徴学習の有効性を実証した。