[논문 리뷰] Semi-Supervised Semantic Segmentation via Dynamic Self-Training and Class-Balanced Curriculum

Zhengyang Feng, Qianyu Zhou외 4명|arXiv (Cornell University)|2020. 04. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 57인용 수 55

한 줄 요약

이 논문은 예측 신뢰도를 통해 상호 모델 간 이견을 활용하여 동적이고 노이즈에 강건한 손실을 구축함으로써, 모든 미라벨 데이터를 효율적이고 철저하게 활용할 수 있도록 하는 새로운 준지도 학습 세그멘테이션 방법인 동적 자기학습 및 클래스 균형 커리큘럼(DST-CBC)을 제안한다. 적대적 훈련이나 아키텍처 변경 없이도, 다양한 데이터셋에서 라벨이 부여된 데이터 비율 전반에서 기존 방법들을 능가한다.

ABSTRACT

In this work, we propose a novel and concise approach for semi-supervised semantic segmentation. The major challenge of this task lies in how to exploit unlabeled data efficiently and thoroughly. Previous state-of-the-art methods utilize unlabeled data by GAN-based self-training or consistency regularization. However, these methods either suffer from noisy self-supervision and class-imbalance, resulting in a low unlabeled data utilization rate, or do not consider the apparent link between self-training and consistency regularization. Our method, Dynamic Self-Training and Class-Balanced Curriculum (DST-CBC), exploits inter-model disagreement by prediction confidence to construct a dynamic loss robust against pseudo label noise, enabling it to extend pseudo labeling to a class-balanced curriculum learning process. While we further show that our method implicitly includes consistency regularization. Thus, DST-CBC not only exploits unlabeled data efficiently, but also thoroughly utilizes $all$ unlabeled data. Without using adversarial training or any kind of modification to the network architecture, DST-CBC outperforms existing methods on different datasets across all labeled ratios, bringing semi-supervised learning yet another step closer to match the performance of fully-supervised learning for semantic segmentation. Our code and data splits are available at: this https URL .

연구 동기 및 목표

• 노이즈가 있는 가짜 라벨과 클래스 불균형으로 인해 준지도 학습 세그멘테이션에서 미라벨 데이터의 활용도가 낮아지는 문제를 해결하기 위해.
• 자기학습과 일致성 정규화 사이의 격차를 해소하기 위해, 동적 손실 구축을 통해 이론적으로 후자를 암묵적으로 통합하기 위해.
• 아키텍처 수정 없이도 모든 미라벨 데이터를 효율적으로 활용할 수 있는 방법을 개발하기 위해.
• 다양한 라벨 데이터 비율에서 성능을 향상시켜 준지도 학습을 완전히 지도 학습 성능에 가깝게 만들기 위해.

제안 방법

• DST-CBC는 상호 모델 간 이견과 예측 신뢰도를 기반으로 동적 손실을 구성하여 가짜 라벨의 노이즈를 줄인다.
• 각 클래스별 신뢰도가 높은 가짜 라벨 샘플을 우선순위로 배정하는 클래스 균형 커리큘럼 학습 과정을 도입하여 훈련의 안정성을 향상시킨다.
• 모델 간 예측 일致성(일致성)을 활용하여 전방향 프로세스 동안의 모델 일치도를 이용함으로써 일치성 정규화를 암묵적으로 통합한다.
• 적대적 훈련을 피하고 표준 네트워크 아키텍처를 유지함으로써 호환성과 단순성을 확보한다.
• 훈련 중에 반복적으로 업데이트되는 동적 손실은 미라벨 데이터의 예측 신뢰도와 이견에 따라 적응한다.
• 신뢰도 기반 필터링을 통해 점진적으로 가짜 라벨의 품질을 향상시킴으로써, 모든 미라벨 샘플을 철저히 활용할 수 있도록 프레임워크를 설계한다.

실험 결과

연구 질문

• RQ1 적대적 훈련 없이도 노이즈가 있는 가짜 라벨을 유발하지 않고 준지도 학습 세그멘테이션에서 미라벨 데이터를 효율적이고 철저하게 활용할 수 있는 방법은 무엇인가?
• RQ2 자기학습과 일치성 정규화 사이의 관계는 무엇이며, 이를 통합된 프레임워크 내에서 암묵적으로 활용할 수 있는가?
• RQ3 동적 자기학습과 결합된 클래스 균형 커리큘럼 학습 전략이 모델 성능 향상에 기여할 수 있는가?
• RQ4 예측 신뢰도로 측정된 상호 모델 간 이견이 노이즈가 있는 가짜 라벨에 대한 강건성을 어떻게 향상시키는가?
• RQ5 적대적 훈련이나 아키텍처 수정 없이도 기존 최첨단 기법들을 능가하는 방법을 개발할 수 있는가?

주요 결과

• DST-CBC는 다양한 벤치마크 데이터셋에서 모든 라벨 데이터 비율에서 최첨단 성능을 달성하며, 기존 방법들에 비해 일관된 향상을 보였다.
• 적대적 훈련을 사용하지 않거나 네트워크 아키텍처를 수정하지 않아도 기존 기법들을 능가하는 성능을 보였다.
• 상호 모델 간 이견과 신뢰도를 활용함으로써 DST-CBC는 자기학습 과정에서 노이즈가 있는 가짜 라벨의 영향을 크게 줄였다.
• 클래스 균형 커리큘럼 학습 과정은 부족한 클래스가 훈련 중에 간과되지 않도록 보장한다.
• 암묵적인 일致성 정규화 통합 덕분에 명시적인 설계 없이도 모델의 강건성이 향상되었다.
• 모든 미라벨 데이터가 효과적으로 활용되었으며, 이는 라벨 데이터 비율이 변화함에 따라 성능이 확장되는 것으로 확인되었다.