[論文レビュー] Learning from Future: A Novel Self-Training Framework for Semantic Segmentation

Ye Du, Yujun Shen+7 more|arXiv (Cornell University)|Sep 15, 2022

Domain Adaptation and Few-Shot Learning被引用数 21

ひとこと要約

この論文は未来自己学習（FST）を意味論分割に導入し、教師は仮想的な未来の生徒状態から構築され、より高品質の疑似ラベルを提供し、現在の学習者を指導して、無監視ドメイン適応と半教師付きセマンティックセグメンテーションの両方を改善する。

ABSTRACT

Self-training has shown great potential in semi-supervised learning. Its core idea is to use the model learned on labeled data to generate pseudo-labels for unlabeled samples, and in turn teach itself. To obtain valid supervision, active attempts typically employ a momentum teacher for pseudo-label prediction yet observe the confirmation bias issue, where the incorrect predictions may provide wrong supervision signals and get accumulated in the training process. The primary cause of such a drawback is that the prevailing self-training framework acts as guiding the current state with previous knowledge, because the teacher is updated with the past student only. To alleviate this problem, we propose a novel self-training strategy, which allows the model to learn from the future. Concretely, at each training step, we first virtually optimize the student (i.e., caching the gradients without applying them to the model weights), then update the teacher with the virtual future student, and finally ask the teacher to produce pseudo-labels for the current student as the guidance. In this way, we manage to improve the quality of pseudo-labels and thus boost the performance. We also develop two variants of our future-self-training (FST) framework through peeping at the future both deeply (FST-D) and widely (FST-W). Taking the tasks of unsupervised domain adaptive semantic segmentation and semi-supervised semantic segmentation as the instances, we experimentally demonstrate the effectiveness and superiority of our approach under a wide range of settings. Code will be made publicly available.

研究の動機と目的

• 確証バイアスを低減させることで意味的セグメンテーションの自己学習を改善する動機づけ。
• モデルが未来の自分から強い監視を提供できるフレームワークを開発する。
• FSTの2つの変種: deeper future (FST-D) と wider future (FST-W) を提案し、疑似ラベル品質を高める。
• UDAとSSLのベンチマークおよび複数のアーキテクチャで有効性を示す。

提案手法

• 標準のMean-Teacher EMA更新を、仮想的な未来のステップに置き換え、勾配をキャッシュして未来の教師を形成する。
• 式3は現在の勾配に基づく仮想的更新を用いて未来の教師を更新し、未来からの監督を可能にする。
• 式4は現在の重みと未来の重みを組み合わせて、より有能な教師を形成する（mu' を導入）。
• 式5は未来の見通しを深いステップへ拡張し、Kステップの深い未来の監督を可能にする（FST-D）。
• 式7は未来探索をより広い未来のバリアント（FST-W）として説明し、未来探索のために異なるデータバッチを使用して前方の探索を行う。

実験結果

リサーチクエスチョン

• RQ1 現在の生徒を未来に形成された教師で導くことは、意味的セグメンテーションの自己学習における確証バイアスを低減するか？
• RQ2 より深い（FST-D）およびより広い（FST-W）未来探索は、UDAとSSL設定全体で性能と安定性の面でどのように比較されるか？
• RQ3 FSTの利得はCNNとTransformerのバックボーンおよび一般的なセグメンテーションデコーダで頑健か？

主な発見

• FST-Dは標準STを著しく改善し、報告された設定で最大3.5ポイントのmIoUの利得を達成（例：ResNet-101で特定の設定で59.8 mIoU）。
• FST-Wは同条件下でFST-Dより小さな利得を示すが、それでも一貫してSTを上回る。
• FSTはDeepLabV2、PSPNet、UPerNetなどのアーキテクチャおよびバックボーン（ResNet、Swin、BEiT）で一般化し、顕著な利得を示す。
• SSLおよびUDAベンチマークで、FSTは強力なベースラインと既存手法（例：DAFormerベースの設定）に対して最先端または競争力の改善を提供。
• より深い未来探索（Kが約3）は安定した強力な性能向上を提供する一方、非常に大きなKは後期のトレーニング段階を損なう可能性。
• 異なるデータバッチを用いた未来探索（FST-W）は、単一バッチ探索と比較して頑健性とアンサンブル効果を向上させる。