[論文レビュー] S4T: Source-free domain adaptation for semantic segmentation via self-supervised selective self-training.

Viraj Prabhu, Shivam Khare+2 more|arXiv (Cornell University)|Jul 21, 2021

Domain Adaptation and Few-Shot Learning参考文献 68被引用数 14

ひとこと要約

S4Tは、自己教師付き選択的自己訓練を用いて、ラベルなしのターゲットデータにおけるモデルの汎化性能を向上させる、セマンティックセグメンテーションのソースフリー領域適応手法を提案する。増幅された複数のビュー間での予測の一貫性と信頼度スコアを活用して、信頼できる予測と信頼できない予測を分類し、不確実な画素に対して選択的補間を用いた偽ラベル付けを実行することで、1回の適応エポックで3つのベンチマークで最先端の性能を達成する。

ABSTRACT

Most modern approaches for domain adaptive semantic segmentation rely on continued access to source data during adaptation, which may be infeasible due to computational or privacy constraints. We focus on source-free domain adaptation for semantic segmentation, wherein a source model must adapt itself to a new target domain given only unlabeled target data. We propose Self-Supervised Selective Self-Training (S4T), a source-free adaptation algorithm that first uses the model's pixel-level predictive consistency across diverse views of each target image along with model confidence to classify pixel predictions as either reliable or unreliable. Next, the model is self-trained, using predicted pseudolabels for reliable predictions and pseudolabels inferred via a selective interpolation strategy for unreliable ones. S4T matches or improves upon the state-of-the-art in source-free adaptation on 3 standard benchmarks for semantic segmentation within a single epoch of adaptation.

研究の動機と目的

• 適応段階でソースデータが利用できない状況におけるセマンティックセグメンテーションにおけるドメインシフトの課題に対処すること。
• 事前学習済みモデルが、ラベルなしのターゲットデータのみを用いて新しいターゲットドメインに適応できる手法を開発すること。
• ソースデータへのアクセスを必要とせず、プライバシー制約および計算リソース制約を克服しながら適応性能を向上させること。

提案手法

• まず、各ターゲット画像の複数の増幅ビュー間で画素レベルの予測的一貫性を計算し、予測の信頼性を評価する。
• モデルの信頼度スコアを用いて、信頼できる予測と信頼できない予測をさらに区別する。
• 信頼できる予測は偽ラベルとして自己学習に使用され、信頼できない予測は選択的補間戦略によって処理され、より頑健な偽ラベルが生成される。
• 選択的補間戦略は、複数のビューからの予測を組み合わせることで、不確実な画素のより正確な偽ラベルを推定する。
• 信頼できる偽ラベルと補間された偽ラベルの両方を用いて、1回の適応エポックでエンドツーエンドにモデルをファインチューニングする。
• このアプローチは自己教師学習であり、適応段階ではラベルなしのターゲットデータのみを用い、ソースデータは一切使用しない。

実験結果

リサーチクエスチョン

• RQ1 データ増幅における予測的一貫性は、ソースフリー領域適応における偽ラベル品質の向上に寄与するか？
• RQ2 視覚的一致性とモデルの信頼度を効果的に組み合わせることで、信頼できる予測を特定できるか？
• RQ3 信頼できない予測のための偽ラベルの選択的補間は、通常の自己学習よりも優れた性能を示すか？
• RQ4 提案手法は、1回の適応エポックで標準ベンチマークにおいて最先端の性能を達成できるか？
• RQ5 ソースデータへのアクセスを排除することで、セマンティックセグメンテーションにおける適応性能にどのような影響が生じるか？

主な発見

• S4Tは、3つの標準ベンチマークにおいて、ソースフリーセマンティックセグメンテーションで最先端の性能を達成した。
• 1回の適応エポックのみを用いて、すべてのベンチマークで以前の最先端手法を同等または上回った。
• 予測的一貫性と信頼度の活用により、信頼できる予測と信頼できない予測の正確な同定が可能になった。
• 信頼できない領域の偽ラベルに対する選択的補間により、モデルの頑健性と性能が向上した。
• ソースデータへのアクセスを一切必要とせず、プライバシー制約および計算リソース制約を満たす強力な汎化性能を示した。