[論文レビュー] Taking A Closer Look at Domain Shift: Category-level Adversaries for Semantics Consistent Domain Adaptation

Yawei Luo, Liang Zheng+3 more|arXiv (Cornell University)|Sep 25, 2018

Domain Adaptation and Few-Shot Learning参考文献 43被引用数 43

ひとこと要約

本論文はCLANを提案する。カテゴリレベルの敵対ネットワークで、局所的な意味的整合性に基づき特徴ごとに敵対損失を適応的に重み付けしてネガティブ転移を低減する。

ABSTRACT

We consider the problem of unsupervised domain adaptation in semantic segmentation. The key in this campaign consists in reducing the domain shift, i.e., enforcing the data distributions of the two domains to be similar. A popular strategy is to align the marginal distribution in the feature space through adversarial learning. However, this global alignment strategy does not consider the local category-level feature distribution. A possible consequence of the global movement is that some categories which are originally well aligned between the source and target may be incorrectly mapped. To address this problem, this paper introduces a category-level adversarial network, aiming to enforce local semantic consistency during the trend of global alignment. Our idea is to take a close look at the category-level data distribution and align each class with an adaptive adversarial loss. Specifically, we reduce the weight of the adversarial loss for category-level aligned features while increasing the adversarial force for those poorly aligned. In this process, we decide how well a feature is category-level aligned between source and target by a co-training approach. In two domain adaptation tasks, i.e., GTA5 -> Cityscapes and SYNTHIA -> Cityscapes, we validate that the proposed method matches the state of the art in segmentation accuracy.

研究の動機と目的

• セマンティックセグメンテーションの教師なしドメイン適応を動機づけ、グローバルな分布整合による意味的一貫性の欠如に対処する。
• 良く整列したクラスを保護しつつ、整列が不十分なクラスを強調するカテゴリレベルの敵対学習を提案する。
• 特徴ごとの意味的整合性を推定し、それに応じて敵対的重み付けを適応させるためにコートレーニングを活用する。
• GTA5→Cityscapes および SYNTHIA→Cityscapes で最先端または競合的な性能を示す。

提案手法

• 特徴抽出器 E、2つの分類器 C1 と C2、および識別器 D からなる CLAN アーキテクチャを導入する。
• C1 と C2 の間の多様性を重みの差異損失と整合の信号として利用することでコートレーニングを用いて多様性を強制する。
• C1 と C2 の意見の相違からピクセルごとの局所的な整合スコアを計算し、D からの敵対損失を調整する。
• 各ピクセルで base loss に (lambda_local * M(p1,p2) + epsilon) を掛ける適応的な敵対損失を適用する。ここで M は乖離度の測度（例: コサイン距離）。
• ソースデータ上での標準的なセグメンテーション損失、分類器を多様に保つための重みの差異損失、および適応的重み付けを用いた敵対損失で訓練する。
• カテゴリーレベルの整合性が良く整列したクラスの保持を改善し、希少クラスの取り扱いを改善することを示す。

実験結果

リサーチクエスチョン

• RQ1 グローバルな限界分布整合と比較して、カテゴリレベルで適応的な敵対学習はドメインシフト下のセマンティックセグメンテーションを改善できるか。
• RQ2 コートレーニング由来の特徴ごとの整合性は、ネガティブ転移を抑制するための敵対学習を選択的に強調できるか。
• RQ3 適応的なピクセルごとの敵対的重み付けは、ドメイン適応における希少クラスと一般的なクラスの性能にどう影響するか。
• RQ4 CLANは GTA5→Cityscapes および SYNTHIA→Cityscapes において最先端または競合的なUDA手法と比較して優れているか。

主な発見

• CLANはバックボーンを跨いでもソースのみのセマンティングを大幅に上回り、従来の敵対手法と比較してmIoUを改善する。
• CLANは GTA5→Cityscapes および SYNTHIA→Cityscapes で競争力のあるまたは最先端の結果を示し、特にポールや交通標識など希少クラスで顕著な向上を達成する。
• 適応的な重み付けは、整列が良いカテゴリ特徴を保持しつつ、整列が悪いカテゴリに対する敵対的圧力を集中させることでネガティブ転送を低減する。
• コートレーニングは意味的に一貫した特徴表現を促進し、ドメイン不変の学習を補助する。
• 特徴分布の分析は、CLANが TAN より小さなカテゴリレベルの結合分布距離を達成し、特に頻度の低いクラスで顕著であることを示す。