[논문 리뷰] Improving Semantic Segmentation via Self-Training

Yi Zhu, Zhongyue Zhang외 7명|arXiv (Cornell University)|2020. 04. 30.

Advanced Neural Network Applications참고 문헌 80인용 수 34

한 줄 요약

논문은 라벨링되지 않은 데이터에서 교사 모델이 의사 라벨을 생성하고 학생 모델을 실제 라벨과 의사 라벨의 혼합으로 학습시키는 시맨틱 세분화를 위한 자기 학습 프레임워크를 도입하며, 더 적은 감독으로도 최첨단 성능을 달성하고 빠른 학습 스케줄을 제시합니다.

ABSTRACT

Deep learning usually achieves the best results with complete supervision. In the case of semantic segmentation, this means that large amounts of pixelwise annotations are required to learn accurate models. In this paper, we show that we can obtain state-of-the-art results using a semi-supervised approach, specifically a self-training paradigm. We first train a teacher model on labeled data, and then generate pseudo labels on a large set of unlabeled data. Our robust training framework can digest human-annotated and pseudo labels jointly and achieve top performances on Cityscapes, CamVid and KITTI datasets while requiring significantly less supervision. We also demonstrate the effectiveness of self-training on a challenging cross-domain generalization task, outperforming conventional finetuning method by a large margin. Lastly, to alleviate the computational burden caused by the large amount of pseudo labels, we propose a fast training schedule to accelerate the training of segmentation models by up to 2x without performance degradation.

연구 동기 및 목표

• 시맨틱 세분화에서 픽셀-정확한 어노테이션에 대한 의존성을 unlabeled 데이터 활용으로 감소시키기.
• 교사-학생 자기 학습 프레임워크가 운전 장면 데이터셋에서 성능을 향상시킬 수 있음을 시연하기.
• 중심점 샘플링으로 의사 라벨의 클래스 불균형 및 레이블 노이즈를 해결하기.
• 대규모 확장 의사 라벨 데이터셋에서도 성능 저하 없이 빠른 학습 스케줄을 개발하기.
• 대상 도메인에서의 새로운 카테고리 학습 포함한 교차 도메인 일반화 이점을 보이기.

제안 방법

• 고품질 의사 라벨 생성을 위해 labeled 데이터로 교사 모델을 학습한다.
• 대규모 비라벨 세트에서 의사 라벨을 생성하고 이를 실제 라벨과 결합하여 학생 모델을 학습한다.
• 의사 라벨 노이즈를 완화하고 클래스 균등한 노출을 보장하기 위해 중심점 샘플링을 사용한다.
• 정밀도 손실 없이 학습 속도를 높이기 위해 crop 크기를 번갈아가며 사용하는 빠른 학습 스케줄(coarse2fine, fine2coarse, 및 변형들)을 제안한다.
• 한정된 타깃 주석으로 Cityscapes에서 Mapillary로의 self-training 적용으로 교차 도메인 일반화를 시연한다.

실험 결과

연구 질문

• RQ1 의사 라벨을 활용한 자기 학습이 운전 장면 데이터셋에서 완전 지도 기반 대비 시맨틱 세분화 성능을 향상시킬 수 있는가?
• RQ2 센터드 샘플링이 자기 학습 설정에서 레이블 노이즈와 클래스 불균형을 효과적으로 완화하는가?
• RQ3 빠른 학습 스케줄이 대규모 의사 라벨 데이터셋의 학습 시간을 대폭 줄이면서 정확도를 유지할 수 있는가?
• RQ4 새로운 카테고리와 제한된 주석을 가진 대상 도메인으로의 전이 시 자기 학습이 교차 도메인 일반화를 향상시키는가?

주요 결과

모델	실제 라벨	가짜 라벨	mIoU (%)
Teacher	3K Cityscapes fine annotations	-	78.1
Student	1.5K real + 1.5K pseudo (Cityscapes coarse)	-	79.0
Student	1.5K real + 4.5K pseudo	-	79.3

• Self-training은 Cityscapes 검증 mIoU를 78.1에서 79.0으로 향상시키며 Cityscapes coarse 및 Mapillary 의사 라벨 사용 시.
• 실제 라벨 1.5K + 의사 라벨 1.5K를 사용하면 79.3% mIoU이며, 의사 라벨 수가 늘어나면 추가 이득이 나타난다(예: ablations에서 79.7%, 79.9%, 80.0%).
• 방법은 백본과 아키텍처에 걸쳐 일반화되며 베이스라인을 능가하고 Mapillary 데이터로 pretrained된 모델과 일치하거나 초과한다.
• 빠른 학습 스케줄(coarse2fine+)은 정확도 손실 없이 최대 1.7–1.8x 속도 향상을 제공한다( Cityscapes 검증에서 베이스라인 80.0% mIoU 대비).
• 교차 도메인 작업에서 소스의 의사 라벨과 제한된 대상 주석으로 새로운 카테고리에서도 경쟁력 있는 결과를 달성하고 단순 파인튜닝을 능가하며 Mapillary 사전학습 성능에 근접한다.