[論文レビュー] Switching Temporary Teachers for Semi-Supervised Semantic Segmentation

Jaemin Na, Jung-Woo Ha+3 more|arXiv (Cornell University)|Oct 28, 2023

Advanced Neural Network Applications被引用数 16

ひとこと要約

本論文は Dual Teacher を提案する。二つの一時的な EMA 教師をエポックごとに切り替え、単一の生徒を半教師付きセマンティックセグメンテーションへ導く。教師-生徒の結合を低減し、ベンチマーク全体で効率を向上させる。

ABSTRACT

The teacher-student framework, prevalent in semi-supervised semantic segmentation, mainly employs the exponential moving average (EMA) to update a single teacher's weights based on the student's. However, EMA updates raise a problem in that the weights of the teacher and student are getting coupled, causing a potential performance bottleneck. Furthermore, this problem may become more severe when training with more complicated labels such as segmentation masks but with few annotated data. This paper introduces Dual Teacher, a simple yet effective approach that employs dual temporary teachers aiming to alleviate the coupling problem for the student. The temporary teachers work in shifts and are progressively improved, so consistently prevent the teacher and student from becoming excessively close. Specifically, the temporary teachers periodically take turns generating pseudo-labels to train a student model and maintain the distinct characteristics of the student model for each epoch. Consequently, Dual Teacher achieves competitive performance on the PASCAL VOC, Cityscapes, and ADE20K benchmarks with remarkably shorter training times than state-of-the-art methods. Moreover, we demonstrate that our approach is model-agnostic and compatible with both CNN- and Transformer-based models. Code is available at \url{https://github.com/naver-ai/dual-teacher}.

研究の動機と目的

• EMA の更新が教師と生徒を過度に結びつける半教師付きセグメンテーションにおける教師–生徒の結合を動機づけて解決する。
• 監督を多様化するため、エポックごとに切り替わる二つの一時的な EMA 教師を備えた Dual Teacher を提案する。
• 生徒には強い増強を、教師には弱い増強を適用して擬似ラベルを生成する。
• サブモデルを介した暗黙の整合性学習を導入し、暗黙のアンサンブルを形成して頑健性を高める。

提案手法

• Dual Teacher を導入する: 単一の生徒に対して交互に擬似ラベルを生成する二つの一時的な EMA 教師。
• エポックごとに生徒の増強プールを変更して、異なる生徒特性を維持し、教師の多様性を誘導する。
• 各一時的な教師を生徒ウェイトの EMA で更新し、進化する生徒を反映しつつも依然として異なる状態を保つ。
• 確率深さを用いて、生徒のサブモデルと完全な教師モデル間の予測を強制することによる暗黙の整合性学習を適用する。
• 教師からの擬似ラベルを用いて、ラベル付きデータの監督損失とラベルなしデータの非監督損失を最適化する。

実験結果

リサーチクエスチョン

• RQ1 セマンティックセグメンテーションの SSL において、二つの一時的な教師の切替は教師–生徒の結合を緩和できるか。
• RQ2 多様な増強とともに教師の切替を交互に行うと、標準ベンチマークでセグメンテーション精度が向上しますか？
• RQ3 この手法はCNNおよびTransformerベースのバックボーンを問わずモデルに依存しないか。
• RQ4 この枠組みでの暗黙の整合性学習の影響は何か。

主な発見

方法	#パラメータ数	1/16 (92)	1/8 (183)	1/4 (366)	1/2 (732)	Full (1,464)
教師ありのみ	43.6M	44.03	52.26	61.65	66.72	72.94
PseudoSeg	43.6M	54.89	61.88	64.85	70.42	71.00
PC 2 Seg	43.6M	56.90	64.63	67.62	70.90	72.26
AugSeg	43.6M	64.22	72.17	76.17	77.40	78.82
UniMatch	43.6M	71.9	72.5	76.0	77.4	78.7
Ours	43.6M	70.76	74.53	76.43	77.68	78.15

• Dual Teacher は PASCAL VOC、Cityscapes、ADE20K で競争力のある mIoU を達成し、学習時間が短く、パラメータ数も少ない。
• 予測距離の分析は、単一の EMA 教師が生徒に強く結合し続けるのに対し、Dual Teacher は多様な監督を維持することを示す。
• 二つの一時的な教師はカテゴリ別の異なる監督を提供し、生徒への補完的な指導を導く。
• 増加する増強や教師はある点まで利得をもたらし、Dual Teacher と増強の組み合わせが最良の性能を提供する。
• 均一な減衰を伴う暗黙の整合性学習は安定性と最終精度を向上させる。
• SegFormer を用いた ADE20K では、Dual Teacher がすべてのパーティションで教師ありベースラインを上回り、効率性を維持する。