[論文レビュー] Regularizing Proxies with Multi-Adversarial Training for Unsupervised Domain-Adaptive Semantic Segmentation

Tong Shen, Dong Gong+3 more|arXiv (Cornell University)|Jul 29, 2019

Domain Adaptation and Few-Shot Learning参考文献 43被引用数 17

ひとこと要約

本稿では、セマンティックセグメンテーションにおける教師なしドメイン適応のための高品質でクラスバランスの取れたプロキシラベルを生成するために、マルチ敵対的訓練アプローチを提案する。2つの識別器からの敵対的信頼度を活用し、信頼度の再焦点化とクラスバランスの再重み付けを施すことで、特に小規模なカテゴリにおいてもプロキシラベルの品質を向上させ、ターゲットドメインにおける真のラベルが入手不可である状況下でも、優れたドメイン適応性能を達成する。

ABSTRACT

Training a semantic segmentation model requires a large amount of pixel-level annotation, hampering its application at scale. With computer graphics, we can generate almost unlimited training data with precise annotation. However,a deep model trained with synthetic data usually cannot directly generalize well to realistic images due to domain shift. It has been observed that highly confident labels for the unlabeled real images may be predicted relying on the labeled synthetic data. To tackle the unsupervised domain adaptation problem, we explore the possibilities to generate high-quality labels as proxy labels to supervise the training on target data. Specifically, we propose a novel proxy-based method using multi-adversarial training. We first train the model using synthetic data (source domain). Multiple discriminators are used to align the features be-tween the source and target domain (real images) at different levels. Then we focus on obtaining and selecting high-quality proxy labels by incorporating both the confidence of the class predictor and that from the adversarial discriminators. Our discriminators not only work as a regularizer to encourage feature alignment but also provide an alternative confidence measure for generating proxy labels. Relying on the generated high-quality proxies, our model can be trained in a "supervised manner" on the target do-main. On two major tasks, GTA5->Cityscapes and SYNTHIA->Cityscapes, our method achieves state-of-the-art results, outperforming the previous by a large margin.

研究の動機と目的

• 教師なしドメイン適応におけるセマンティックセグメンテーションの分野で、信頼性の高いプロキシラベルを生成する課題、特に小規模かつドメインシフトが生じるカテゴリに対して対処すること。
• 複数の識別器からの敵対的信頼度を組み込むことで、プロキシラベルの品質を向上させること。
• 予測信頼度と敵対的不確実性に基づく動的再重み付けを通じて、プロキシラベル内のクラス分布をバランスさせること。
• 生成されたプロキシラベルを用いてターゲットドメインデータ上で有効な自己教師あり学習を可能にし、ドメインシフトを低減すること。
• ターゲットドメインのアノテーションにアクセスできない状況下でも、最先端のドメイン適応性能を達成すること。

提案手法

• 本手法は、セグメンテーションネットワークからのスコアマップと、2つの識別器からの敵対的信頼度を用いてプロキシラベルを生成する。
• 敵対的信頼度は、2つの識別器の出力のmin-max正規化平均として計算され、各空間的位置における不確実性推定値を提供する。
• 信頼度の再焦点化ステップでは、全敵対的信頼度値から百分位数閾値 $ t_1 $ を特定し、低信頼度領域をフィルタリングする。
• 各クラスについて、高敵対的信頼度領域からのみ予測信頼度を集約し、各クラスごとに第2の百分位数閾値 $ t_2^{(l)} $ を計算する。
• スコアマップは $ t_2^{(l)} $ で除算することで再重み付けされ、最終的なプロキシラベルは、再重み付けされた信頼度と敵対的信頼度の両方が閾値を超える領域でのみ argmax を用いて生成される。
• プロキシラベル生成プロセスは、本論文の式 (5) と同等であり、クラスバランスが取れ、信頼度の高い予測を保証する。

実験結果

リサーチクエスチョン

• RQ1 複数の識別器からの敵対的信頼度は、セマンティックセグメンテーションにおける教師なしドメイン適応のプロキシラベル品質を向上させ得るか？
• RQ2 信頼度の再焦点化は、特に小規模カテゴリにおいて、プロキシラベルの信頼性をどのように向上させるか？
• RQ3 クラスバランスの再重み付けは、セマンティッククラス全体にわたるプロキシラベルの分布をどの程度改善するか？
• RQ4 提案手法は、ベースラインのプロキシラベル生成戦略に比べ、ドメイン適応性能において優れているか？
• RQ5 高品質なプロキシラベルは、真のラベルが入手不可であっても、ターゲットドメイン上で効果的な自己教師あり学習を可能にするか？

主な発見

• 提案手法は、特に「car」のような小規模カテゴリにおいて、標準的なプロキシラベル生成手法に比べて顕著に品質の高いプロキシラベルを生成する。これらのカテゴリは、通常の手法では適切にセグメンテーションされにくい。
• 可視化結果では、敵対的信頼度を用いたプロキシラベルが、特にドメインシフトが顕著で信頼度が低い領域において、鋭く正確な境界を示している。
• マルチ敵対的訓練と信頼度の再焦点化の導入により、プロキシラベル内のノイズや一貫性のない予測が低減され、より信頼性の高い自己教師あり学習が可能になった。
• 適応後、ターゲットドメインにおける高品質なセマンティックセグメンテーション結果が得られており、敵対的信頼度を用いた有無を比較した定性的な結果から明らかである。
• 本手法は、複数のターゲットドメインおよびデータセットにわたり、プロキシラベル品質と下流のセグメンテーション性能の両方で一貫した向上を示した。
• アブレーションスタディの結果、敵対的信頼度と再重み付けは、教師なしドメイン適応における最先端性能を達成する上で不可欠な要素であることが確認された。