[논문 리뷰] Leveraging Semi-Supervised Learning in Video Sequences for Urban Scene Segmentation.

Liang-Chieh Chen, Raphael Gontijo Lopes외 6명|arXiv (Cornell University)|2020. 05. 20.

Video Surveillance and Tracking Methods참고 문헌 73인용 수 12

한 줄 요약

이 논문은 도시 환경 세그멘테이션 성능을 햖थ기 위해 레이블이 없는 비디오 시퀀스와 추가 이미지를 활용하는 단순하면서도 효과적인 반복적 준지도 학습 프레임워크를 제안한다. 레이블이 없는 데이터에 대해 의사 레이블을 생성하고 Naive-Student 모델을 반복적으로 재학습함으로써, Cityscapes 벤치마크에서 세분화, 인스턴스 세그멘테이션, 팬옵틱 세그멘테이션 모두에서 최신 기술 수준(SOTA) 성능을 달성하며, 각각 67.8% PQ, 42.6% AP, 85.2% mIOU를 기록한다.

ABSTRACT

Supervised learning in large discriminative models is a mainstay for modern computer vision. Such an approach necessitates investing in large-scale human-annotated datasets for achieving state-of-the-art results. In turn, the efficacy of supervised learning may be limited by the size of the human annotated dataset. This limitation is particularly notable for image segmentation tasks, where the expense of human annotation is especially large, yet large amounts of unlabeled data may exist. In this work, we ask if we may leverage semi-supervised learning in unlabeled video sequences and extra images to improve the performance on urban scene segmentation, simultaneously tackling semantic, instance, and panoptic segmentation. The goal of this work is to avoid the construction of sophisticated, learned architectures specific to label propagation (e.g., patch matching and optical flow). Instead, we simply predict pseudo-labels for the unlabeled data and train subsequent models with both human-annotated and pseudo-labeled data. The procedure is iterated for several times. As a result, our Naive-Student model, trained with such simple yet effective iterative semi-supervised learning, attains state-of-the-art results at all three Cityscapes benchmarks, reaching the performance of 67.8% PQ, 42.6% AP, and 85.2% mIOU on the test set. We view this work as a notable step towards building a simple procedure to harness unlabeled video sequences and extra images to surpass state-of-the-art performance on core computer vision tasks.

연구 동기 및 목표

• 대규모 레이블이 없는 비디오 시퀀스와 추가 이미지를 활용하여 도시 환경 세그멘테이션 성능을 향상시키기 위해.
• 세분화, 인스턴스 세그멘테이션, 팬옵틱 세그멘테이션에서 인간 레이블링 데이터셋의 높은 비용과 확장성 한계를 극복하기 위해.
• 패치 매칭이나 옵티컬 플로우와 같은 복잡한 레이블 전파 메커니즘을 피하는 단순하고 아키텍처에 종속되지 않는 방법을 개발하기 위해.
• 특수한 모델 설계 없이도 세분화, 인스턴스, 팬옵틱 세그멘테이션 세 가지 Cityscapes 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.
• 반복적 의사 레이블링과 경량 학생 모델을 활용하면 복잡한 아키텍처 혁신 없이도 기존 최신 기술 수준 방법을 초월할 수 있음을 입증하기 위해.

제안 방법

• 초기 인간 레이블링 데이터셋으로 훈련된 테이처 모델을 사용하여 레이블이 없는 비디오 프레임과 추가 이미지에 대해 의사 레이블을 생성한다.
• 학습된 인간 레이블링 데이터와 의사 레이블이 부여된 레이블이 없는 데이터를 동시에 사용하여 학생 모델(Naive-Student)을 엔드 투 엔드 방식으로 훈련시킨다.
• 반복적인 학습 과정을 통해 각 라운드에서 개선된 학생 모델로부터 업데이트된 의사 레이블을 생성한다.
• 옵티컬 플로우나 패치 매칭과 같은 복잡한 레이블 전파 기법을 피하고, 직접적인 의사 레이블링과 모델 디스틸레이션에 의존한다.
• 최종 모델은 팬옵틱, 인스턴스, 세분화 세 가지 세그멘테이션 작업 모두에 대해 Cityscapes 테스트 세트에서 평가된다.
• 이 방법은 단순하고 일반적인 설계를 갖추고 있어, 작업별 특화된 아키텍처 수정 없이 다양한 세그멘테이션 작업에 적용 가능하다.

실험 결과

연구 질문

• RQ1 복잡한 레이블 전파 기법 없이도 레이블이 없는 비디오 시퀀스와 추가 이미지를 효과적으로 활용하여 도시 환경 세그멘테이션 성능을 향상시킬 수 있는가?
• RQ2 단순한 학생 모델을 사용한 반복적 의사 레이블링이 세분화, 인스턴스, 팬옵틱 세그멘테이션에서 기존 최신 기술 수준 방법을 초월할 수 있는가?
• RQ3 패치 매칭이나 옵티컬 플로우를 피하는 최소한의 아키텍처 설계조차도 반복적 준지도 학습을 통해 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 Naive-Student 모델의 성능은 세 가지 Cityscapes 벤치마크 전반에서 이전 방법들과 비교해 어떻게 되는가?
• RQ5 의사 레이블의 반복적 개선이 모델 일반화 능력과 세그멘테이션 정확도 향상에 얼마나 기여하는가?

주요 결과

• Naive-Student 모델은 Cityscapes 테스트 세트에서 팬옵틱 품질(PQ) 67.8%를 기록하여 새로운 최신 기술 수준을 수립했다.
• 모델은 인스턴스 세그멘테이션에서 평균 정밀도(AP) 42.6%를 달성하여 이전 최신 기술 수준 결과를 초월했다.
• 세분화 세그멘테이션에서는 평균 교차율(mIOU) 85.2%를 기록하여 벤치마크에서 새로운 최신 기술 수준을 기록했다.
• 옵티컬 플로우나 패치 매칭과 같은 특수한 레이블 전파 아키텍처를 설계하지 않아도 성능 향상을 달성했다.
• 의사 레이블의 반복적 개선이 세 분류 작업 전반에서 모델 일반화 능력과 세그멘테이션 정확도 향상에 크게 기여했다.
• 결과적으로 복잡한 작업 특화 모델보다 단순하고 경량의 학습 절차로도 도시 환경 세그멘테이션에서 최신 기술 수준 성능을 달성할 수 있음을 입증했다.