[論文レビュー] Semantic Segmentation under Adverse Conditions: A Weather and Nighttime-aware Synthetic Data-based Approach

Abdulrahman Kerim, Felipe Chamone+4 more|arXiv (Cornell University)|Oct 11, 2022

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本論文は、悪天候および夜間条件下におけるセマンティックセグメンテーションのための、合成データに基づくドメイン適応フレームワークを提案する。DeepLabV3+に天候および日時監視器を統合することで、モデルは最先端の性能を達成し、ACDCデータセットではmIoUを14ポイント向上（0.49 mIoU）した一方で、Cityscapesでは0.75 mIoUを維持するなど、標準的および困難な条件下で高い頑健性を示した。

ABSTRACT

Recent semantic segmentation models perform well under standard weather conditions and sufficient illumination but struggle with adverse weather conditions and nighttime. Collecting and annotating training data under these conditions is expensive, time-consuming, error-prone, and not always practical. Usually, synthetic data is used as a feasible data source to increase the amount of training data. However, just directly using synthetic data may actually harm the model's performance under normal weather conditions while getting only small gains in adverse situations. Therefore, we present a novel architecture specifically designed for using synthetic training data for domain adaptation. We propose a simple yet powerful addition to DeepLabV3+ by using weather and time-of-the-day supervisors trained with multi-task learning, making it both weather and nighttime aware, which improves its mIoU accuracy by $14$ percentage points on the ACDC dataset while maintaining a score of $75\%$ mIoU on the Cityscapes dataset. Our code is available at https://github.com/lsmcolab/Semantic-Segmentation-under-Adverse-Conditions.

研究の動機と目的

• 実世界でのデータ収集およびアノテーションが高コストかつ非現実的である悪天候および夜間条件下で、セマンティックセグメンテーションモデルを訓練する課題に対処すること。
• 合成データと実データの間のドメインギャップを克服するため、トレーニング中に合成データと実データを併用するトレーニング手順を設計すること。
• 専用の監視ヘッドを用いてネットワークに天候および日時の属性に気づかせるようにすることで、モデルの一般化性能を向上させること。
• 標準的（晴天、昼間）ベンチマークでの性能を低下させることなく、悪天候条件下での高い性能を達成すること。

提案手法

• 天候（雨、霧、雪）および夜間条件を正確なセマンティックアノテーションとともにカバーする、修正版Silverシミュレータを用いて生成された新規な合成データセットAWSSを提案する。
• ドメインシフトを低減するために、トレーニング中に実データ（Cityscapes）と合成データ（AWSS）のバッチを交互に使用する合成データ対応トレーニング戦略を導入する。
• 天候耐性のための天候認識監視器（WAS）と、時間認識のための時間認識監視器（TAS）を、マルチタスク学習により訓練する補助ヘッドとして設計する。
• WASとTASをDeepLabV3+アーキテクチャに統合し、悪天候下の視覚的条件に明示的に適応できるように特徴抽出を強化する。
• 主なセグメンテーション損失とWASおよびTASからの補助損失を組み合わせたマルチタスク損失を用いて、エンドツーエンドでモデルを訓練し、同時に最適化を可能にする。
• 2段階のトレーニングプロトコルを採用：まずCityscapesで事前学習（標準的条件）、次にAWSSで、実データ・合成データの併用と補助監視を用いたファインチューニングを行う。

実験結果

リサーチクエスチョン

• RQ1 合成データを悪天候および夜間条件下でのセマンティックセグメンテーション性能向上に効果的に活用できるか。また、標準ベンチマークでの性能を低下させないか？
• RQ2 標準的なドメイン適応やファインチューニングと比較して、明示的な天候および日時監視を導入することで、モデルの頑健性はどの程度向上するか？
• RQ3 実データと合成データの両方を併用してトレーニングすることで、セマンティックセグメンテーションにおける合成データと実世界画像の間のドメインギャップはどの程度低減されるか？
• RQ4 天候および日時の属性にモデルを認識させることで、トレーニング時に明示的に見られなかったすべての悪天候条件下でも性能向上が得られるか？

主な発見

• 提案手法は、ベースラインと比較してACDCデータセットでのmIoUを14ポイント向上（0.49 mIoU）し、悪天候下での性能が既存手法を上回った。
• 標準的条件下でも強力な性能を維持し、Cityscapesでは0.75 mIoUを達成しており、最良のベースラインと同等の性能を示した。
• 天候認識監視器（WAS）単体でもACDCでのmIoUが8ポイント向上し、特に霧（0.55 mIoU）および雨（0.49 mIoU）条件下で最大の向上が見られた。
• 時間認識監視器（TAS）を追加することで、特に夜間（0.27 mIoU）での性能がさらに向上し、他の悪天候条件に対しても性能向上が見られた。
• アブレーションスタディの結果、ドメインギャップのため、合成データのみでの学習では性能が著しく低下することが確認された。実データと合成データの併用に加え、監視の導入が成功の鍵であった。
• 歩道クラスは、ベースライン比で82％の相対的向上を示し、これはモデルが濡れた、雪や雨の影響を受ける表面をより正確に検出できるようになったためである。