[論文レビュー] Multi-Scale Boosted Dehazing Network with Dense Feature Fusion

Hang Dong, Jinshan Pan+5 more|arXiv (Cornell University)|Apr 28, 2020

Image Enhancement Techniques参考文献 59被引用数 63

ひとこと要約

本論文は MSBDN-DFF を提案する。U-Net ベースのディヘイズネットワークで、SOS ブースティングとバックプロジェクションに触発された密な特徴融合を使用し、複数の曇り画像ベンチマークで最先端手法を上回る。

ABSTRACT

In this paper, we propose a Multi-Scale Boosted Dehazing Network with Dense Feature Fusion based on the U-Net architecture. The proposed method is designed based on two principles, boosting and error feedback, and we show that they are suitable for the dehazing problem. By incorporating the Strengthen-Operate-Subtract boosting strategy in the decoder of the proposed model, we develop a simple yet effective boosted decoder to progressively restore the haze-free image. To address the issue of preserving spatial information in the U-Net architecture, we design a dense feature fusion module using the back-projection feedback scheme. We show that the dense feature fusion module can simultaneously remedy the missing spatial information from high-resolution features and exploit the non-adjacent features. Extensive evaluations demonstrate that the proposed model performs favorably against the state-of-the-art approaches on the benchmark datasets as well as real-world hazy images.

研究の動機と目的

• priors が信頼できない多様な場面で頑健なディヘイズを動機づける。
• ブースティングと誤差フィードバックを組み合わせて徐々に霞の除去を行うネットワークを設計する。
• 空間的な詳細をスケール間で回復する密な特徴融合モジュールを開発する。

提案手法

• デコーダに Strengthen-Operate-Subtract (SOS) ブースティングを組み込み、霞のない画像を段階的に復元する。
• バックプロジェクションに基づく Dense Feature Fusion (DFF) モジュールを導入し、マルチスケール特徴を融合して空間情報を回復する。
• スキップ連結と残差グループを備えたエンコーダ–デコーダ（U-Net）アーキテクチャを特徴復元に使用する。
• MSBDN-DFF を平均二乗誤差損失でエンドツーエンドに学習する。
• RESIDE、HazeRD、および NTIRE2018-dehazing データセットで評価し、最先端手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 デコーダの SOS ベースのブーストは、ブーストされていないデコーダと比べてディヘイズ品質を向上させるか。
• RQ2 密なバックプロジェクションベースの特徴融合は、マルチスケール情報を効果的に結合して曇り画像の空間的な詳細を保存できるか。
• RQ3 MSBDN-DFF は標準ベンチマークで他のエンドツーエンドのディヘイズネットワークと比較してどの程度の性能か。
• RQ4 DFF モジュールが高周波のディテールの保持と非隣接特徴の利用に与える影響は。

主な発見

• MSBDN-DFF は定性的および定量的評価に基づき、複数の最先端ディヘイズ手法を上回っている。
• SOS ブーストされたデコーダは、ベースラインおよび代替ブースティング戦略に対して大きな改善を提供する。
• DFF モジュールは空間情報を効果的に保持し、非隣接特徴を活用して復元品質を向上させる。
• アブレーション研究により、ブースティングと密な特徴融合の双方が性能向上に顕著に寄与する。
• KITTI 系の霧データセットでの知覚的評価は、デヘイズ画像の物体検出性能の向上を示す。