[論文レビュー] D2ADA: Dynamic Density-aware Active Domain Adaptation for Semantic Segmentation

Tsung-Han Wu, Yi-Syuan Liou+5 more|arXiv (Cornell University)|Feb 14, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

D2ADAは、不確実性とドメイン密度に基づく選択を組み合わせることで、情報量の多いターゲット領域を優先する動的で密度に配慮したアクティブドメイン適応フレームワークを提案する。ガウス・ミックスチャネル・モデルを用いてカテゴリ固有の特徴密度分布を推定し、KLダイバージェンスを用いて動的ラベル付け予算をスケジューリングすることで、GTA5→CityscapesおよびSYNTHIA→Cityscapesベンチマークで最先端の性能を達成し、5%のラベル付け予算で最大6.5% mIoUの向上を達成した。

ABSTRACT

In the field of domain adaptation, a trade-off exists between the model performance and the number of target domain annotations. Active learning, maximizing model performance with few informative labeled data, comes in handy for such a scenario. In this work, we present D2ADA, a general active domain adaptation framework for semantic segmentation. To adapt the model to the target domain with minimum queried labels, we propose acquiring labels of the samples with high probability density in the target domain yet with low probability density in the source domain, complementary to the existing source domain labeled data. To further facilitate labeling efficiency, we design a dynamic scheduling policy to adjust the labeling budgets between domain exploration and model uncertainty over time. Extensive experiments show that our method outperforms existing active learning and domain adaptation baselines on two benchmarks, GTA5 -> Cityscapes and SYNTHIA -> Cityscapes. With less than 5% target domain annotations, our method reaches comparable results with that of full supervision. Our code is publicly available at https://github.com/tsunghan-wu/D2ADA.

研究の動機と目的

• セマンティックセグメンテーションのドメイン適応における限られたラベル付きデータの課題に対処すること。
• 領域固有の特徴密度分布を組み込むことで、教師なしドメイン適応におけるアクティブラーニングの効率を向上させること。
• 最も情報量が多くドメイン差が大きい領域を知的に選択することで、ラベル付けコストを低減すること。
• ドメイン差違和とカテゴリ固有の不確実性に基づいて、ラベル付け予算を動的に調整すること。

提案手法

• 本手法は、各カテゴリ $ c $ について、ソースドメインとターゲットドメインの条件付き密度分布 $ p_S(z|c) $ と $ p_T(z|c) $ を推定するためにガウス・ミックスチャネル・モデル（GMMs）を用いる。
• カテゴリごとのドメイン差を示す、カテゴリー別Kullback-Leiblerダイバージェンス $ D_{\text{KL}}(p_T(z|c) \| p_S(z|c)) $ を計算し、領域の重要度スコアを算出する。
• ハイパーパrameter $ \alpha $ と $ \beta $ を用いた動的スケジューリングポリシーにより、反復ごとのラベル付け予算を調整する。ここで $ \alpha $ はドメインギャップを反映し、$ \beta $ は減衰率を制御する。
• アクティブ選択は、不確実性サンプリング（例：マージンベース）と密度に配慮した選択を組み合わせ、不確実性が高くドメイン差が大きい領域を優先する。
• 2段階のパイプラインを統合する：UDAのウォームアップ段階と、新たにラベル付けされたデータでモデルを微調整する反復的アクティブラーニング段階。
• 本手法はDeepLabV2およびDeepLabV3+バックボーンを用いて実装され、GMMの入力としてASPPと最終分類層からの特徴マップが使用される。

実験結果

リサーチクエスチョン

• RQ1 カテゴリ間の特徴密度分布を組み込むことで、ドメイン適応におけるアクティブラーニングはどのように改善されるか？
• RQ2 ドメイン差違和と不確実性に基づいてラベル付け予算を動的にスケジューリングすることは、性能にどのような影響を与えるか？
• RQ3 密度に配慮した選択は、ラベル付けコストを低減しつつ、セグメンテーション性能を維持または向上させることができるか？
• RQ4 本手法は、セマンティックセグメンテーションの低データ環境において、ベースラインのアクティブラーニング戦略と比較してどのように異なるか？
• RQ5 本手法は、GTA5→CityscapesやSYNTHIA→Cityscapesのような異なるドメインシフトのシナリオに、どの程度一般化可能か？

主な発見

• GTA5→Cityscapesベンチマークでは、D2ADAがDeepLabV3+を用いて5%のラベル付け予算で69.73% mIoUを達成し、先行手法を最大6.5% mIoU上回った。
• SYNTHIA→Cityscapesタスクでは、D2ADAがDeepLabV3+を用いて5%のラベル付け予算で77.67% mIoUを達成し、前例のSOTA結果を著しく上回った。
• 1%から5%までの全5つのラベル付け予算において一貫した性能向上を示し、スケーラビリティとロバストネスの両面で優れた性能を発揮した。
• 定性的な結果から、D2ADAはU既是の手法やADAベースラインと比較して、オブジェクト境界をよりよく保持し、'train' や 'fences' のような難易度の高いカテゴリにも一般化していることが示された。
• 失敗事例は主にコーナー領域や境界領域で観察され、空間的サンプリング戦略の改善の余地があることが示唆された。