[論文レビュー] Semi-Supervised Semantic Segmentation via Gentle Teaching Assistant

Ying Jin, Jiaqi Wang+1 more|arXiv (Cornell University)|Jan 18, 2023

Advanced Neural Network Applications被引用数 31

ひとこと要約

GTA-Seg を導入した、Gentle Teaching Assistant を備えた教師-生徒フレームワーク。擬似ラベルから学習して特徴表現を改善しつつ、マスク予測子での信頼できない擬似ラベルを回避し、標準ベンチマークで最先端の結果を達成する。

ABSTRACT

Semi-Supervised Semantic Segmentation aims at training the segmentation model with limited labeled data and a large amount of unlabeled data. To effectively leverage the unlabeled data, pseudo labeling, along with the teacher-student framework, is widely adopted in semi-supervised semantic segmentation. Though proved to be effective, this paradigm suffers from incorrect pseudo labels which inevitably exist and are taken as auxiliary training data. To alleviate the negative impact of incorrect pseudo labels, we delve into the current Semi-Supervised Semantic Segmentation frameworks. We argue that the unlabeled data with pseudo labels can facilitate the learning of representative features in the feature extractor, but it is unreliable to supervise the mask predictor. Motivated by this consideration, we propose a novel framework, Gentle Teaching Assistant (GTA-Seg) to disentangle the effects of pseudo labels on feature extractor and mask predictor of the student model. Specifically, in addition to the original teacher-student framework, our method introduces a teaching assistant network which directly learns from pseudo labels generated by the teacher network. The gentle teaching assistant (GTA) is coined gentle since it only transfers the beneficial feature representation knowledge in the feature extractor to the student model in an Exponential Moving Average (EMA) manner, protecting the student model from the negative influences caused by unreliable pseudo labels in the mask predictor. The student model is also supervised by reliable labeled data to train an accurate mask predictor, further facilitating feature representation. Extensive experiment results on benchmark datasets validate that our method shows competitive performance against previous methods. Code is available at https://github.com/Jin-Ying/GTA-Seg.

研究の動機と目的

• 半教師ありセマンティックセグメンテーションにおける未ラベルデータの活用を改善する動機づけ。
• 擬似ラベルが特徴抽出器とマスク予測子に与える影響を分離する。
• EMA を介して有益な表現知識のみを転送するためにGentle Teaching Assistantを活用する。
• 再加重機構を用いてノイズの多い擬似ラベルに対する頑健性を向上させる。
• PASCAL VOC 2012 および Cityscapes データセットで競争力のある性能向上を示す。

提案手法

• 教師-生徒フレームワークを追加のGentle Teaching Assistant (GTA) モジュールで拡張する。
• 教師で擬似ラベルを生成し、画素信頼度とラプラス平滑化で再加重する。
• 未ラベルデータ上でGTAを訓練し、特徴抽出器の知識のみをEMAを介して学生へ転送する。
• マスク予測子を訓練するために正解ラベルで学生を監督し、学生からのEMAで教師を更新する。

実験結果

リサーチクエスチョン

• RQ1 擬似ラベルはマスク予測子を汚すことなく特徴表現を改善できるだろうか？
• RQ2 GTAを介して表現学習とマスク予測を分離することは半教師ありセグメンテーションの性能を向上させるか？
• RQ3 擬似ラベルの再加重はセグメンテーション品質および誤校正への頑健性にどう影響するか？

主な発見

方法	92	183	366	732	1464
SupOnly	45.77	54.92	65.88	71.69	72.50
MT	51.72	58.93	63.86	69.51	70.96
CutMix	52.16	63.47	69.46	73.73	76.54
PseudoSeg	57.60	65.50	69.14	72.41	73.23
PC2Seg	57.00	66.28	69.78	73.05	74.15
ST++	65.23	71.01	74.59	77.33	79.12
U2PL	67.98	69.15	73.66	76.16	79.49
GTA-Seg (Ours)	70.02 ±0.53	73.16 ±0.45	75.57 ±0.48	78.37 ±0.33	80.47 ±0.35

• GTA-Seg はデータレジーム全体で標準の教師-生徒ベースラインより一貫して改善する。
• PASCAL VOC 2012（元のトレーニングセット）では、GTA-Segはラベル付きデータの割合に関係なく70.02〜80.47 mIoUを達成し、従来法を上回る。
• 再加重された擬似ラベリングはGTA-Segと併用時に追加の改善を提供する。
• 消去実験は、GTAと表現伝達が再加重を超えて最も寄与することを示す。
• 可視化は、GTA-Segでよりはっきりとした境界とより正確なクラス分割を示している。