[논문 리뷰] Semi-Supervised Semantic Segmentation via Gentle Teaching Assistant

Ying Jin, Jiaqi Wang외 1명|arXiv (Cornell University)|2023. 01. 18.

Advanced Neural Network Applications인용 수 31

한 줄 요약

GTA-Seg를 도입하는 교사-학생 프레임워크로, Gentle Teaching Assistant가 의사 라벨로부터 학습하여 특징 표현을 개선하되 마스크 예측기에서 신뢰할 수 없는 의사 라벨을 피하고 표준 벤치마크에서 최첨단 성능을 달성합니다.

ABSTRACT

Semi-Supervised Semantic Segmentation aims at training the segmentation model with limited labeled data and a large amount of unlabeled data. To effectively leverage the unlabeled data, pseudo labeling, along with the teacher-student framework, is widely adopted in semi-supervised semantic segmentation. Though proved to be effective, this paradigm suffers from incorrect pseudo labels which inevitably exist and are taken as auxiliary training data. To alleviate the negative impact of incorrect pseudo labels, we delve into the current Semi-Supervised Semantic Segmentation frameworks. We argue that the unlabeled data with pseudo labels can facilitate the learning of representative features in the feature extractor, but it is unreliable to supervise the mask predictor. Motivated by this consideration, we propose a novel framework, Gentle Teaching Assistant (GTA-Seg) to disentangle the effects of pseudo labels on feature extractor and mask predictor of the student model. Specifically, in addition to the original teacher-student framework, our method introduces a teaching assistant network which directly learns from pseudo labels generated by the teacher network. The gentle teaching assistant (GTA) is coined gentle since it only transfers the beneficial feature representation knowledge in the feature extractor to the student model in an Exponential Moving Average (EMA) manner, protecting the student model from the negative influences caused by unreliable pseudo labels in the mask predictor. The student model is also supervised by reliable labeled data to train an accurate mask predictor, further facilitating feature representation. Extensive experiment results on benchmark datasets validate that our method shows competitive performance against previous methods. Code is available at https://github.com/Jin-Ying/GTA-Seg.

연구 동기 및 목표

• 비지도 라벨이 없는 데이터를 세미-슈퍼바이즈드 의미 분할에서 더 효과적으로 활용하도록 촉진한다.
• 의사 라벨이 특징 추출기와 마스크 예측기에 미치는 영향을 분리한다.
• EMA를 통해 유익한 표현 지식만을 전달하도록 Gentle Teaching Assistant를 활용한다.
• 재가중 메커니즘으로 노이즈가 있는 의사 라벨에 대한 강건성을 향상한다.
• PASCAL VOC 2012 및 Cityscapes 데이터셋에서 경쟁력 있는 향상을 시연한다.

제안 방법

• 교사-학생 프레임워크에 추가적인 Gentle Teaching Assistant(GTA) 모듈을 확장한다.
• 교사가 의사 라벨을 생성하고 픽셀 신뢰도 및 Laplace 스무딩으로 재가중한다.
• unlabeled 데이터에서 GTA를 학습시키고 특징 추출기 지식만을 EMA를 통해 학생으로 전달한다.
• 학생은 실제 라벨로 마스크 예측기를 학습하도록 감독하고, 교사는 학생으로부터 EMA로 업데이트된다.

실험 결과

연구 질문

• RQ1 의사 라벨이 마스크 예측기를 손상시키지 않으면서 특징 표현을 개선할 수 있는가?
• RQ2 GTA를 통해 표현 학습과 마스크 예측의 분리를 통해 세미-슈퍼바이즈드 분할 성능이 향상되는가?
• RQ3 의사 라벨 재가중이 분할 품질 및 오정합성에 대한 강건성에 어떤 영향을 미치는가?

주요 결과

방법	92	183	366	732	1464
SupOnly	45.77	54.92	65.88	71.69	72.50
MT	51.72	58.93	63.86	69.51	70.96
CutMix	52.16	63.47	69.46	73.73	76.54
PseudoSeg	57.60	65.50	69.14	72.41	73.23
PC2Seg	57.00	66.28	69.78	73.05	74.15
ST++	65.23	71.01	74.59	77.33	79.12
U2PL	67.98	69.15	73.66	76.16	79.49
GTA-Seg (Ours)	70.02 ±0.53	73.16 ±0.45	75.57 ±0.48	78.37 ±0.33	80.47 ±0.35

• GTA-Seg는 데이터 규칙성에 따라 일반 교사-학생 베이스라인 대비 지속적으로 향상된다.
• PASCAL VOC 2012(원래 학습 세트)에서 GTA-Seg는 라벨 데이터 비율에 따라 70.02 ~ 80.47 mIoU를 달성하며 기존 방법을 능가한다.
• 재가중된 의사 라벨링은 GTA-Seg와 함께 사용될 때 추가적인 향상을 제공한다.
• 제거점에서 Gentle Teaching Assistant와 표현 전달이 가장 큰 기여를 하며, 재가중보다 큰 영향을 미친다.
• 시각화에서 GTA-Seg를 사용하면 컨투어가 더 명확하고 클래스 분할이 더 정확해진다.