[論文レビュー] A Curriculum-style Self-training Approach for Source-Free Semantic Segmentation

Yuxi Wang, Jian Liang+1 more|arXiv (Cornell University)|Jun 22, 2021

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、ソースデータにアクセスできない状況下でもドメイン適応を可能にする、新しいカリキュラムスタイルの自己学習フレームワークであるATPを提案する。暗黙的な特徴整合化（仮説転送を用いて）、ポジティブおよびネガティブな偽ラベルを用いた双方向自己学習、およびドメイン内一貫性を確保するための情報伝達を活用することで、GTA5→Cityscapesおよびクロスシティドライブベンチマークにおいて、ソースデータを必要としない最先端の性能を達成した。

ABSTRACT

Source-free domain adaptation has developed rapidly in recent years, where the well-trained source model is adapted to the target domain instead of the source data, offering the potential for privacy concerns and intellectual property protection. However, a number of feature alignment techniques in prior domain adaptation methods are not feasible in this challenging problem setting. Thereby, we resort to probing inherent domain-invariant feature learning and propose a curriculum-style self-training approach for source-free domain adaptive semantic segmentation. In particular, we introduce a curriculum-style entropy minimization method to explore the implicit knowledge from the source model, which fits the trained source model to the target data using certain information from easy-to-hard predictions. We then train the segmentation network by the proposed complementary curriculum-style self-training, which utilizes the negative and positive pseudo labels following the curriculum-learning manner. Although negative pseudo-labels with high uncertainty cannot be identified with the correct labels, they can definitely indicate absent classes. Moreover, we employ an information propagation scheme to further reduce the intra-domain discrepancy within the target domain, which could act as a standard post-processing method for the domain adaptation field. Furthermore, we extend the proposed method to a more challenging black-box source model scenario where only the source model's predictions are available. Extensive experiments validate that our method yields state-of-the-art performance on source-free semantic segmentation tasks for both synthetic-to-real and adverse conditions datasets. The code and corresponding trained models are released at \url{https://github.com/yxiwang/ATP}.

研究の動機と目的

• プライバシーや知的財産権の制約によりソースデータが入手不可な状況下で、ドメインシフトの課題に取り組むこと。
• ソースデータへのアクセスを一切不要とし、事前学習済みのソースモデルのみを用いて、新しいターゲットドメインへのドメイン適応を実現するフレームワークの構築。
• ソースモデルの予測結果のみが利用可能なより現実的なブラックボックス設定へのフレームワークの拡張。
• ネガティブな偽ラベルの導入とドメイン内一貫性正則化により、ターゲットドメインにおける表現学習の向上。

提案手法

• ソースモデルの予測結果を用いて、未観測のソース特徴とターゲット特徴を暗黙的に整合化するカリキュラムスタイルのエントロピー最小化目的関数を提案。
• 低信頼度および難易度の高いサンプルに注目するため、ポジティブおよびネガティブな両方の偽ラベルを用いた双方向自己学習を導入し、特徴学習を強化。
• ドメイン内乖離を低減するため、偽スレーブラベル付きの自己教師学習を適用する情報伝達スキームを設計。
• 固定されたソース分類器を用いて仮説転送を実施し、特徴整合化を安定化させ、適応過程での分布シフトを防止。
• クラスに依存しない特徴の多様性を促進し、一般化性能を向上させるための重み付き多様性損失を導入。
• ソース特徴へのアクセスをやめ、ソースモデルの出力予測のみを用いることで、ブラックボックス設定へのフレームワークの拡張を実現。

Figure 1: Comparison between the conventional, source data-free, and black-box source-model domain adaptation for semantic segmentation. The proposed source data-free domain adaptation method only relies on the trained source model, while the conventional methods require all the labeled source data

実験結果

リサーチクエスチョン

• RQ1 ソースデータが入手不可な状況下で、仮説転送による暗黙的特徴整合化が、明示的ドメイン整合化の代替として効果的であるか？
• RQ2 自己学習にネガティブな偽ラベルを組み込むことで、ソースデータフリーなドメイン適応における表現学習が向上するか？
• RQ3 偽スレーブラベル付きの自己教師学習による情報伝達によって、ドメイン内乖離が低減され、セグメンテーション精度が向上するか？
• RQ4 特にソースデータが存在しない状況下で、提案手法のハイパーパrameter選択に対するロバストネスはどの程度か？
• RQ5 ソースモデルの予測結果のみが利用可能なブラックボックス設定において、フレームワークが一般化可能か？

主な発見

• ATPはGTA5→CityscapesベンチマークでmIoU 39.8を達成し、過去のあらゆるソースデータフリー手法を上回り、ソースデータを必要とする手法と同等の性能を示した。
• ハイパーパrameter、特にネガティブな偽ラベルの閾値λ_negに対して強いロバストネスを示し、最適性能はλ_neg < 0.1で達成された。
• アブレーションスタディにより、各構成要素（暗黙的整合化、双方向自己学習、情報伝達）が性能向上に顕著な寄与をしていることが確認された。
• ソースモデルの予測結果のみが利用可能なブラックボックス設定でも、競争力ある性能を示し、実用性が裏付けられた。
• ソース分類器のファインチューニングを行わない状況でも、モデルは迅速に収束し、高い性能を維持しており、仮説転送機構の安定性が裏付けられた。
• 共通クラスでは特に性能向上が顕著であったが、フェンス、ポール、信号、列車など、レアクラスやドメインギャップの大きなカテゴリでは依然として課題を抱えていた。

Figure 2: Illustration of the proposed align, teach, and propagate ( ATP ) framework for domain adaptive semantic segmentation without source data. (a) is the implicit feature alignment. We freeze the classifier and train the feature extractor to achieve implicit feature alignment by minimizing $\ma