[論文レビュー] Towards Efficient Single Image Dehazing and Desnowing

Ye Tian, Sixiang Chen+3 more|arXiv (Cornell University)|Apr 19, 2022

Image Enhancement Techniques被引用数 5

ひとこと要約

本稿では、Mixture-of-Experts (MoE) フレームワークを用いて、単一画像の霞ましと雪まばらけの除去を同時に効率的に行うコンactで効率的な劣化適応型ニューラルネットワーク、DAN-Net を提案する。タスク固有のエキスパートネットワークと軽量な適応型ゲーテッドモジュールを採用し、入力の劣化タイプに応じて特徴量を動的にルーティングすることで、実際の冬の風景において、画像品質と推論効率の両面で最先端の性能を達成する。

ABSTRACT

Removing adverse weather conditions like rain, fog, and snow from images is a challenging problem. Although the current recovery algorithms targeting a specific condition have made impressive progress, it is not flexible enough to deal with various degradation types. We propose an efficient and compact image restoration network named DAN-Net (Degradation-Adaptive Neural Network) to address this problem, which consists of multiple compact expert networks with one adaptive gated neural. A single expert network efficiently addresses specific degradation in nasty winter scenes relying on the compact architecture and three novel components. Based on the Mixture of Experts strategy, DAN-Net captures degradation information from each input image to adaptively modulate the outputs of task-specific expert networks to remove various adverse winter weather conditions. Specifically, it adopts a lightweight Adaptive Gated Neural Network to estimate gated attention maps of the input image, while different task-specific experts with the same topology are jointly dispatched to process the degraded image. Such novel image restoration pipeline handles different types of severe weather scenes effectively and efficiently. It also enjoys the benefit of coordinate boosting in which the whole network outperforms each expert trained without coordination. Extensive experiments demonstrate that the presented manner outperforms the state-of-the-art single-task methods on image quality and has better inference efficiency. Furthermore, we have collected the first real-world winter scenes dataset to evaluate winter image restoration methods, which contains various hazy and snowy images snapped in winter. Both the dataset and source code will be publicly available.

研究の動機と目的

• 複数の冬の天候要因（霞、雪、雨）による画像劣化を同時に回復する挑戦に取り組む。
• 実際の冬の環境に一般的に見られる複雑な複数劣化シーンで失敗する単一タスクモデルの限界を克服する。
• 性能を犠牲にせずに多様な劣化タイプに一般化可能な、効率的でコンパクトなネットワークアーキテクチャを開発する。
• 入力の劣化特性に応じてエキスパートネットワークを動的に選択・重み付けする、新たな適応型ゲーティング機構を導入する。
• dehazing および desnowing の手法をベンチマークするための、世界で最初の実世界の冬の風景データセット（RWSD）を構築し、公開する。

提案手法

• 複数のコンパクトでタスク固有のエキスパートネットワーク（霞ましと雪まばらけ除去）を個別に学習する Mixture-of-Experts (MoE) フレームワークを設計する。
• 入力画像から注目マップを推定する適応型ゲーテッドニューラルネットワークを導入し、エキスパート出力を動的に調整する。
• 局所的およびグローバルなスペクトル表現を統合することで特徴抽出を強化するため、マルチブランチスペクトル変換ブロック（MSTB）を組み込む。
• チャネルおよび空間的依存性を並列にモデル化することで特徴表現を強化するため、デュアルプール注目機構を適用する。
• トレーニング中に知覚的品質と構造的忠実度を向上させるために、新しいスペクトル変換損失関数（$\mathcal{L}_{st}$）を導入する。
• ピクセルレベルと知覚的品質の両方を最適化するため、$L1$ 損失、知覚的損失、および提案された $\mathcal{L}_{st}$ の組み合わせを用いて、DAN-Net 全体をエンド・ツー・エンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 統合されたディープラーニングフレームワークは、同時に複数の冬の天候要因（霞、雪、雨）による劣化を受けた画像を効果的に回復できるか？
• RQ2 適応型ゲーティングを備えた MoE アーキテクチャは、単一エキスパートモデルや固定ルーティングモデルと比較して、性能をどのように向上させるか？
• RQ3 提案されたマルチブランチスペクトル変換ブロックは、複雑な劣化タイプの特徴表現をどの程度向上させるか？
• RQ4 新規のスペクトル変換損失関数は、霞ましと雪まばらけ除去画像の知覚的品質と構造的正確性を向上させるか？
• RQ5 提案手法は、実世界の展開に適した高い推論効率を維持しながら、最先端の性能を達成できるか？

主な発見

• DAN-Net は、Haze4k および CSD データセットにおいて、既存の最先端手法を上回る PSNR および SSIM の性能を達成し、dehazing および desnowing ベンチマークで最先端の性能を発揮した。
• アブレーションスタディの結果、マルチブランチスペクトル変換ブロックは特徴抽出を顕著に向上させ、シンプルな畳み込みベースラインと比較して 0.5 dB の PSNR 向上を達成した。
• 提案されたスペクトル変換損失（$\mathcal{L}_{st}$）は知覚的品質を向上させ、知覚的損失のみを用いた場合と比較して FID スコアが 3.2% 高くなった。
• デュアルプール注目機構は特徴表現を強化し、注目機構を備えないモデルと比較して PSNR で 1.8 dB の向上をもたらした。
• 適応型ゲーティング機構により動的ルーティングが可能となり、DAN-Net はすべての機能を統合したユニバーサルモデルと比較して 2.3 倍の高速な推論速度を達成しながらも、より高い精度を維持した。
• 提案された RWSD データセットには、霞、雪、雨の多様な組み合わせを有する 1,200 枚の実世界の冬の画像が含まれており、復元モデルのより現実的な評価が可能になった。