[論文レビュー] Self-Adversarial Disentangling for Specific Domain Adaptation

Qianyu Zhou, Qiqi Gu+3 more|arXiv (Cornell University)|Aug 8, 2021

Domain Adaptation and Few-Shot Learning参考文献 70被引用数 11

ひとこと要約

本稿では、特定のドメインシフト次元（例：濃霧の厚さ）に沿ったドメインシフトを明示的にモデル化する新しいフレームワークである自己対抗的分離（SAD）を提案する。ドメインネスクリエーターを導入して、多様なドメインネス値を持つソースドメインを豊かにし、分離損失を用いた自己対抗的正則化を採用することで、ドメインネス不変特徴を学習し、物体検出およびセマンティックセグメンテーションタスクにおいて、未観測のドメインネスレベルへの一般化性能を顕著に向上させる。

ABSTRACT

Domain adaptation aims to bridge the domain shifts between the source and the target domain. These shifts may span different dimensions such as fog, rainfall, etc. However, recent methods typically do not consider explicit prior knowledge about the domain shifts on a specific dimension, thus leading to less desired adaptation performance. In this paper, we study a practical setting called Specific Domain Adaptation (SDA) that aligns the source and target domains in a demanded-specific dimension. Within this setting, we observe the intra-domain gap induced by different domainness (i.e., numerical magnitudes of domain shifts in this dimension) is crucial when adapting to a specific domain. To address the problem, we propose a novel Self-Adversarial Disentangling (SAD) framework. In particular, given a specific dimension, we first enrich the source domain by introducing a domainness creator with providing additional supervisory signals. Guided by the created domainness, we design a self-adversarial regularizer and two loss functions to jointly disentangle the latent representations into domainness-specific and domainness-invariant features, thus mitigating the intra-domain gap. Our method can be easily taken as a plug-and-play framework and does not introduce any extra costs in the inference time. We achieve consistent improvements over state-of-the-art methods in both object detection and semantic segmentation.

研究の動機と目的

• 特定の次元（例：濃霧の厚さの変動）における未観測のドメインネスレベルへの適応において、従来の自己教師付きドメイン適応（UDA）手法の性能低下を解消すること。
• 同じドメイン次元内でのドメインシフト（ドメインネス）の異なる数値的スケールが引き起こすドメイン内ギャップを軽減すること。
• 表現学習においてドメインネスを分離可能な要因として明示的にモデル化することで、未観測のドメインネス値を持つターゲットドメインへの一般化を可能にすること。
• バックボーンを変更せず、推論コストを増加させない、即挿し可能なフレームワークを開発すること。

提案手法

• ドメインネス値（例：異なる濃霧強度）を有する多様なソースドメインサンプルを生成するドメインネスクリエーター（DC）を導入し、学習分布を豊かにする。
• 異なるドメインネスレベル間で特徴を敵対的にアライニングすることで、ドメインネス不変特徴を生成するようモデルを促す自己対抗的正則化器を設計する。
• ドメインネス固有およびドメインネス不変の対照的損失の2つの補助損失を定式化し、表現をドメインネス固有およびドメインネス不変の成分に明示的に分離する。
• ドメイン適応、分離、自己対抗的正則化をバランスさせる組み合わせ損失関数を用いて、モデルをエンドツーエンドで訓練する。
• 既存のSOTAモデル（例：GPA、SWDA、AdaptSegNet）にSADフレームワークをプラグインモジュールとして統合し、バックボーンの変更や推論時間の増加なしに実装する。

実験結果

リサーチクエスチョン

• RQ1 特定の次元におけるドメインネスの明示的モデリングが、観測済みのドメインネスレベルを超えた一般化性能の向上に寄与するか？
• RQ2 ドメインネス固有およびドメインネス不変特徴を分離することで、ターゲットドメインにおける未観測ドメインネスレベルでの性能にどのような影響を与えるか？
• RQ3 自己対抗的正則化器が、ドメインネスの大きさの変動によって生じるドメイン内ギャップを効果的に低減するか？
• RQ4 提案されたSADフレームワークは、既存のSOTAモデルに推論オーバーヘッドを伴わずシームレスに統合可能か？

主な発見

• Cityscapes → Foggy Cityscapesの物体検出ベンチマークにおいて、SADとGPAを組み合わせた場合、濃霧次元におけるドメインネスレベルを4つに設定した際、mAPが49.17%に達し、ドメインネス拡張なしのベースラインを上回った。
• Virtual KITTI → CKITTIのセマンティックセグメンテーションタスクにおいて、SADとAdaptSegNetを組み合わせた場合、特に「植生」と「交通標識」などの難易度の高いカテゴリにおいて、より正確なセグメンテーションマスクを生成した。
• アブレーションスタディの結果、ドメインネスクリエーターにおけるドメインネスレベル数（N）を増やすことでmAPが一貫して向上し、N=4の際には濃霧次元で45.23%のmAPを達成したのに対し、N=0の場合は43.17%であった。
• ハイパーパramータ分析により、λspf = 0.1が最適な性能をもたらすことが確認され、異なるバックボーンアーキテクチャおよびデータセットにおいても同様に頑健であった。
• 定性的な結果から、SADはベースライン手法よりも高い信頼度の予測を生成し、視界が悪い状況でもより多くの物体を検出できた。