[논문 리뷰] Naive-Student: Leveraging Semi-Supervised Learning in Video Sequences for Urban Scene Segmentation

Liang-Chieh Chen, Raphael Gontijo Lopes외 6명|arXiv (Cornell University)|2020. 05. 20.

Video Surveillance and Tracking Methods참고 문헌 92인용 수 12

한 줄 요약

이 논문은 단순한 반복적 준지도 학습 방법인 Naive-Student를 제안하며, 인간 레이블이 없는 영상 프레임과 추가 이미지를 활용하여 가상 레이블을 생성하고, 데이터 증강과 모델 정규화만을 사용함으로써 도시 환경 세분화 성능을 향상시킨다. 이 방법은 전용 레이블 전파 모듈이 필요 없이, Cityscapes의 세 가지 벤치마크에서 모두 최신 기준 성능을 달성한다: 테스트 세트에서 67.8% PQ, 42.6% AP, 85.2% mIOU.

ABSTRACT

Supervised learning in large discriminative models is a mainstay for modern computer vision. Such an approach necessitates investing in large-scale human-annotated datasets for achieving state-of-the-art results. In turn, the efficacy of supervised learning may be limited by the size of the human annotated dataset. This limitation is particularly notable for image segmentation tasks, where the expense of human annotation is especially large, yet large amounts of unlabeled data may exist. In this work, we ask if we may leverage semi-supervised learning in unlabeled video sequences and extra images to improve the performance on urban scene segmentation, simultaneously tackling semantic, instance, and panoptic segmentation. The goal of this work is to avoid the construction of sophisticated, learned architectures specific to label propagation (e.g., patch matching and optical flow). Instead, we simply predict pseudo-labels for the unlabeled data and train subsequent models with both human-annotated and pseudo-labeled data. The procedure is iterated for several times. As a result, our Naive-Student model, trained with such simple yet effective iterative semi-supervised learning, attains state-of-the-art results at all three Cityscapes benchmarks, reaching the performance of 67.8% PQ, 42.6% AP, and 85.2% mIOU on the test set. We view this work as a notable step towards building a simple procedure to harness unlabeled video sequences and extra images to surpass state-of-the-art performance on core computer vision tasks.

연구 동기 및 목표

• 도시 환경의 의미적, 인스턴스, 패널로믹 세분화 성능을 향상시키기 위해 인간 레이블이 없는 영상 시퀀스와 추가 이미지를 활용한다.
• 준지도 학습을 단순하고 확장 가능한 방식으로 활용하여 고비용의 인간 레이블 데이터셋에 대한 의존도를 줄인다.
• 광학 흐름이나 패치 매칭과 같은 복잡한 아키텍처를 피하기 위해 가상 레이블링과 데이터 증강만을 사용한다.
• 특수 작업용 아키텍처 수정 없이 Cityscapes 벤치마크에서 최신 기준 성능을 달성한다.
• 컴퓨터 비전에서 풍부한 인간 레이블이 없는 영상 데이터를 활용하기 위한 단순하고 효과적인 기준을 수립한다.

제안 방법

• Cityscapes 영상 시퀀스에서 인간이 레이블을 부여한 프레임의 소량을 사용해 모델을 반복적으로 훈련시킨다.
• 다중 스케일 입력과 좌우 반전을 데이터 증강 수단으로 사용하여 인간 레이블이 없는 영상 프레임에 대해 가상 레이블을 생성한다.
• 각 반복 과정에서 교사 모델의 예측을 학생 모델로 전달하기 위해 지식 정규화를 사용한다.
• 후속 훈련 에포크에서 인간 레이블 데이터와 가상 레이블 데이터를 결합하여 일반화 성능을 향상시킨다.
• 추가로 테스트 시 증강(다중 스케일 입력과 반전)을 적용하고, Mapillary Vistas에서의 사전 훈련을 통해 성능을 더욱 향상시킨다.
• 더 높은 효율성과 정확도를 확보하기 위해 드롭 패스와 다중 그리드 설정을 적용한 수정된 Wide ResNet-41(WR-41) 백본을 사용한다.

실험 결과

연구 질문

• RQ1 특수 레이블 전파 모듈이 없이도 단순한 반복적 준지도 학습 절차가 도시 환경 세분화에서 지도 학습 기준 성능을 능가할 수 있는가?
• RQ2 인간 레이블이 없는 영상 프레임과 추가 이미지는 의미적, 인스턴스, 패널로믹 세분화 작업의 성능을 어느 정도 향상시킬 수 있는가?
• RQ3 광학 흐름이나 패치 매칭 없이 데이터 증강만으로도 가상 레이블링이 경쟁 가능한 성능을 낼 수 있는가?
• RQ4 제안된 방법이 동시에 세 가지 Cityscapes 벤치마크에서 최신 기준 성능을 달성할 수 있는가?
• RQ5 백본 아키텍처와 훈련 기법의 선택이 모델의 효율성과 정확도에 어떤 영향을 미치는가?

주요 결과

• Naive-Student는 Cityscapes 테스트 세트에서 67.8% PQ, 42.6% AP, 85.2% mIOU를 기록하며, 세 가지 벤치마크에서 모두 새로운 최신 기준 성능을 수립한다.
• 추가 데이터 없이도 X-71 백본을 사용한 Panoptic-DeepLab보다 1.4% PQ, 1.9% AP, 2.1% mIOU 높은 성능을 기록한다.
• Mapillary Vistas에서의 사전 훈련을 적용한 후, Naive-Student는 테스트 세트에서 66.5% PQ, 40.6% AP, 84.5% mIOU를 달성한다.
• WR-41 백본은 WR-38 대비 파라미터 수와 FLOPs를 줄이며, V100에서 추론 속도가 빠르다(396.5 ms 대비 437.9 ms).
• 테스트 시 증강(다중 스케일 입력과 반전)을 적용하면 검증 세트의 mIOU가 80.7%에서 83.8%로 향상된다.
• 드롭 패스와 다중 그리드 설정은 모든 백본 변형에서 일관되게 성능 향상을 이룬다.