[論文レビュー] An Adversarial Perturbation Oriented Domain Adaptation Approach for Semantic Segmentation

Jihan Yang, Ruijia Xu+5 more|arXiv (Cornell University)|Dec 18, 2019

Domain Adaptation and Few-Shot Learning参考文献 37被引用数 7

ひとこと要約

本稿では、特徴空間におけるポイントワイズな adversarial パーティクルを生成・防御することで、カテゴリ条件付きシフトを軽減する、摂動に基づくドメイン適応手法を提案する。各特徴マップの位置を個別に摂動させ、それら摂動に対して耐性を持つドメイン不変分類器を訓練することで、GTA5→Cityscapes および SYNTHIA→Cityscapes で最先端の性能を達成し、特にテールクラスや小物のセグメンテーション性能が向上する。

ABSTRACT

We focus on Unsupervised Domain Adaptation (UDA) for the task of semantic segmentation. Recently, adversarial alignment has been widely adopted to match the marginal distribution of feature representations across two domains globally. However, this strategy fails in adapting the representations of the tail classes or small objects for semantic segmentation since the alignment objective is dominated by head categories or large objects. In contrast to adversarial alignment, we propose to explicitly train a domain-invariant classifier by generating and defensing against pointwise feature space adversarial perturbations. Specifically, we firstly perturb the intermediate feature maps with several attack objectives (i.e., discriminator and classifier) on each individual position for both domains, and then the classifier is trained to be invariant to the perturbations. By perturbing each position individually, our model treats each location evenly regardless of the category or object size and thus circumvents the aforementioned issue. Moreover, the domain gap in feature space is reduced by extrapolating source and target perturbed features towards each other with attack on the domain discriminator. Our approach achieves the state-of-the-art performance on two challenging domain adaptation tasks for semantic segmentation: GTA5 -> Cityscapes and SYNTHIA -> Cityscapes.

研究の動機と目的

• 敵対的アライメントの限界に対処する。特に、グローバルな分布マッチングにより、ヘッドクラスや大きな物体が優位になる問題を解消する。
• 特にテールクラスや小物に対して、すべてのカテゴリにわたる均等な適応を保証することで、セマンティックセグメンテーションにおけるカテゴリ条件付きシフトを低減する。
• 局所的な adversarial パーティクルに対して不変であるように明示的に分類器を訓練することで、モデルのロバストネスと一般化性能を向上させる。
• データ分布に関するヒューリスティックな再重み付けや暗黙の仮定に依存せずに、より良いドメイン不変表現を達成する。

提案手法

• 複数の攻撃目的における勾配ギャップを低減するために、反復的フットグレントサインプレポーズドメソッド（I-FGSPM）を用いて、中間特徴マップの各空間的位置に adversarial パーティクルを生成する。
• ドメインディスクラミネーターおよびセグメンテーション分類器の両方の勾配からパーツを導出し、モデルがロバストでドメイン不変な特徴を学習できるようにする。
• 分類器は、これらの摂動に対しても一貫した予測を維持するように訓練され、ソースの監督信号とターゲットの一貫性制約を用いて不変性を強制する。
• 摂動は、ResNet-101 の層4以降のような深い特徴層に適用されることが実験的に優れたパフォーマンスをもたらすことが確認された。
• セグメンテーション精度の向上とクラスバイアスの低減をさらに図るため、Lovász-Softmax とエントロピー最小化損失を統合する。
• 本手法は、GTA5→Cityscapes および SYNTHIA→Cityscapes で評価され、各コンponentの有効性を検証するアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 ピクセルレベルの特徴マップ位置に adversarial パーティクルを適用することで、セマンティックセグメンテーションにおけるドメイン一般化が向上するか？
• RQ2 ポイントワイズな摂動訓練はカテゴリ条件付きシフトを緩和し、テールクラスや小物のパフォーマンスを向上させるか？
• RQ3 攻撃手法の選定と摂動層の選択は、モデルのロバストネスと適応性能にどのように影響するか？
• RQ4 敵対的摂動訓練は、ヘッドクラスに支配される標準的な敵対的アライメントを上回る性能を発揮するか？
• RQ5 各コンponent（例：摂動、エントロピー、Lovász損失）の mIoU 向上およびクラスバイアス低減への寄与度は何か？

主な発見

• 提案された I-FGSPM 攻撃手法は、SYNTHIA→Cityscapes で 53.1 mIoU を達成し、I-FGSM（51.8）や MI-FGSPM（52.2）を上回り、安定的で情報豊かな摂動を生成できることを示した。
• 深層特徴層（例：ResNet-101 の層4以降）での特徴摂動が最良のパフォーマンス（53.1 mIoU）をもたらし、入力または浅層特徴への摂動よりも効果的であることが確認された。
• すべてのコンponent（摂動、Lovász、エントロピー）を統合した完全なモデルは、GTA5→Cityscapes で 45.9 mIoU、SYNTHIA→Cityscapes で 53.1 mIoU を達成し、ベースラインのソースオンリーモデル（36.6 および 38.6 mIoU）を顕著に上回った。
• ASN プレトレーニングと組み合わせた場合、GTA5→Cityscapes で +3.8%、SYNTHIA→Cityscapes で +7.0% の mIoU 向上を達成し、既存手法と強い相乗効果を示した。
• アブレーションスタディにより、エントロピー最小化と Lovász-Softmax 損失がクラスバイアスを低減することが確認され、摂動戦略は両者と組み合わせた際に最も効果的であることが示された。
• ASN と比較して、本手法はテールクラス（例：'sign'、'traffic light'）のセグメンテーション性能を顕著に向上させた。ASN はグローバルアライメントの支配により、こうしたカテゴリに崩壊しやすい傾向がある。