[論文レビュー] WM-MoE: Weather-aware Multi-scale Mixture-of-Experts for Blind Adverse Weather Removal

Yulin Luo, Rui Zhao+8 more|arXiv (Cornell University)|Mar 24, 2023

Flood Risk Assessment and Management被引用数 5

ひとこと要約

本稿では、分離された天候およびコンテンツ特徴に基づき、画像トークンを専門的なエキスパートに動的にルーティングするため、天候に配慮したルーター（WEAR）とマルチスケールエキスパート（MSE）を活用する、盲目的な悪天候除去を目的としたビジョントランスフォーマー基盤の手法WM-MoEを提案する。天候表現学習を強化するため、天候ガイダンス微細化対照学習（WGF-CL）を導入し、MAW-Sim、All-Weather、Cityscapesのデータセットで最先端の性能を達成し、PSNRおよびSSIMの大幅な向上を実現した。特に混合天候状況下での向上が顕著である。

ABSTRACT

Adverse weather removal tasks like deraining, desnowing, and dehazing are usually treated as separate tasks. However, in practical autonomous driving scenarios, the type, intensity,and mixing degree of weather are unknown, so handling each task separately cannot deal with the complex practical scenarios. In this paper, we study the blind adverse weather removal problem. Mixture-of-Experts (MoE) is a popular model that adopts a learnable gate to route the input to different expert networks. The principle of MoE involves using adaptive networks to process different types of unknown inputs. Therefore, MoE has great potential for blind adverse weather removal. However, the original MoE module is inadequate for coupled multiple weather types and fails to utilize multi-scale features for better performance. To this end, we propose a method called Weather-aware Multi-scale MoE (WM-MoE) based on Transformer for blind weather removal. WM-MoE includes two key designs: WEather-Aware Router (WEAR) and Multi-Scale Experts (MSE). WEAR assigns experts for each image token based on decoupled content and weather features, which enhances the model's capability to process multiple adverse weathers. To obtain discriminative weather features from images, we propose Weather Guidance Fine-grained Contrastive Learning (WGF-CL), which utilizes weather cluster information to guide the assignment of positive and negative samples for each image token. Since processing different weather types requires different receptive fields, MSE leverages multi-scale features to enhance the spatial relationship modeling capability, facilitating the high-quality restoration of diverse weather types and intensities. Our method achieves state-of-the-art performance in blind adverse weather removal on two public datasets and our dataset. We also demonstrate the advantage of our method on downstream segmentation tasks.

研究の動機と目的

• 実世界の自動運転シナリオにおいて、天候の種別、強度、混合状態が未知である盲目的な悪天候除去の課題に対処すること。
• レイン、ハゼ、スノウの除去を別々のタスクとして扱う既存手法の限界を克服し、未観測または混合天候状態への一般化性を向上させること。
• 天候に配慮したルーティングとマルチスケール特徴モデリングを活用したMixture-of-Experts（MoE）により、モデルの一般化性と性能を向上させること。
• 天候とコンテンツ特徴を分離することで、エキスパート選択の精度と耐障害性を向上させる表現学習戦略の開発

提案手法

• コンテンツ特徴と天候特徴を分離することで、各画像トークンを特定のエキスパートにルーティングする天候に配慮したルーター（WEAR）を提案し、天候固有のエキスパート選択を改善する。
• トークンレベルでの天候内類似性と天候間差異を活用し、陽性・陰性サンプルの選択をガイドする天候ガイダンス微細化対照学習（WGF-CL）を導入し、天候表現の強化を図る。
• 複数の受容 field を処理するマルチスケールエキスパート（MSE）を設計し、多様な天候強度や種別における空間的関係のより良いモデリングを可能にする。
• 共有の畳み込みヘッドおよびテイルを備えたビジョントランスフォーマーベースにWM-MoEモジュールを統合し、盲目的な天候修復のためのエンドツーエンド学習を可能にする。
• 軽量なViTエンコーダーを用いて天候トークンを抽出し、それをWGF-CLで活用して天候に配慮した表現を精緻化する。
• 性能と計算効率のバランスを取るために、16のエキスパート（N=16）を用いたtop-kゲーミング機構（k=4）を採用する。

実験結果

リサーチクエスチョン

• RQ1 天候種別や強度が未知である盲的な悪天候除去に、Mixture-of-Experts（MoE）フレームワークを効果的に適用できるか？
• RQ2 ルーティング機構における天候特徴とコンテンツ特徴の分離により、天候固有のエキスパートルーティングはどのように向上するか？
• RQ3 天候クラスタ情報に基づく微細化対照学習により、天候表現の識別力は向上するか？
• RQ4 マルチスケールエキスパート設計は、単一スケールエキスパートと比較して、多様な天候種別や強度において性能を向上させるか？
• RQ5 提案されたWM-MoEフレームワークは、天候修復後の下流のセマンティックセグメンテーション性能をどの程度向上させるか？

主な発見

• WM-MoEはMAW-Simデータセットで最先端の性能を達成し、PSNR 30.30、SSIM 0.9461を記録。盲目的および混合天候状況下でも既存手法を上回った。
• All-Weatherデータセットでは、PSNR 30.25、SSIM 0.9462を達成し、多様な天候条件における強力な一般化性を示した。
• Cityscapesでは、PSNR 30.18、SSIM 0.9441を達成し、実世界のドライブシーンへの高い転送性を示した。
• アブレーションスタディにより、WEAR、MSE、WGF-CLの各モジュールが性能向上に顕著に寄与していることが確認され、WGF-CLが他の対照学習ベースラインを上回った。
• エキスパート数（N）とtop-kルーティング（K）のアブレーションでは、N=16およびK=4が性能と効率の最良のトレードオフを提供しており、PSNRはNの増加に伴いほぼ対数的に上昇した。
• 下流のセマンティックセグメンテーションタスクにおいても、WM-MoEによる修復が顕著に効果を発揮し、上限に近い結果を達成した。これは、本手法が画像修復を越えた実用的価値を有することを示している。