[논문 리뷰] Robust Mutual Learning for Semi-supervised Semantic Segmentation

Pan Zhang, Bo Zhang외 3명|arXiv (Cornell University)|2021. 06. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 61인용 수 12

한 줄 요약

이 논문은 평균 교사(mean teacher)를 사용해 의사 레이블을 생성하고, 클래스 중심점까지의 내부 특징 거리 기반으로 의사 레이블을 보정하는 자기 보정(self-rectification)을 도입함으로써 상호 학습에서 모델 결합 문제를 완화하는 강력한 상호 학습(Robust Mutual Learning, RML)을 제안한다. RML은 도메인 제한이 없는 환경에서 레이블이 1/30에 불과한 경우에도 기존 최고 성능(SOTA) 방법보다 mIoU가 3.45% 높게 기록하며 최고 성능을 달성한다.

ABSTRACT

Recent semi-supervised learning (SSL) methods are commonly based on pseudo labeling. Since the SSL performance is greatly influenced by the quality of pseudo labels, mutual learning has been proposed to effectively suppress the noises in the pseudo supervision. In this work, we propose robust mutual learning that improves the prior approach in two aspects. First, the vanilla mutual learners suffer from the coupling issue that models may converge to learn homogeneous knowledge. We resolve this issue by introducing mean teachers to generate mutual supervisions so that there is no direct interaction between the two students. We also show that strong data augmentations, model noises and heterogeneous network architectures are essential to alleviate the model coupling. Second, we notice that mutual learning fails to leverage the network's own ability for pseudo label refinement. Therefore, we introduce self-rectification that leverages the internal knowledge and explicitly rectifies the pseudo labels before the mutual teaching. Such self-rectification and mutual teaching collaboratively improve the pseudo label accuracy throughout the learning. The proposed robust mutual learning demonstrates state-of-the-art performance on semantic segmentation in low-data regime.

연구 동기 및 목표

• 상호 학습에서 학생 네트워크가 동일한 지식을 학습하고 공통 오류를 확산시키는 모델 결합 문제를 해결하기 위해.
• 동료 네트워크의 지식뿐 아니라 모델 자체의 내부 지식을 활용해 의사 레이블의 품질을 향상시키기 위해.
• 노이즈 주입 학습과 이질적인 아키텍처를 통해 외부 감독에 대한 의존도를 줄이고, 낮은 데이터 환경에서의 강건성을 향상시키기 위해.
• 준지도 학습과 완전히 지도 학습 간의 성능 격차를 세그멘테이션 분야에서 줄이기 위해.

제안 방법

• 직접적인 상호 작용 없이 평균 교사 기반으로 의사 레이블을 생성하는 간접적 상호 학습(IML)을 사용하는 이중 단계 학습 방식을 도입한다.
• 강력한 데이터 증강 기법, 모델 노이즈(예: 드롭아웃, 스토하스틱 디pth), 그리고 이질적인 네트워크 아키텍처(예: CNN 및 트랜스포머)를 활용해 모델 결합을 감소시킨다.
• 클래스 중심점까지의 상대적 특징 거리 기반으로 클래스별 신뢰도를 계산해 의사 레이블을 보정하는 자기 보정(self-rectification)을 제안한다.
• 자기 보정과 상호 가르침을 조합해 학습 도중 의사 레이블 정확도를 반복적으로 향상시킨다.
• 일致성 정규화와 자기 보정 간 균형을 조절하는 하이퍼파ram터 λ를 사용하는 가중 손실 함수를 적용한다.
• 이중 단계 학습 프로세스를 활용한다: 첫 번째 단계는 노이즈와 아키텍처 이질성을 적용한 IML을 사용하고, 두 번째 단계는 자기 보정을 포함한 전체 RML을 적용한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 상호 학습에서 두 네트워크가 동일하고 노이즈가 많은 지식을 학습하는 것을 방지하고 모델 결합 문제를 줄일 수 있는가?
• RQ2 동료 네트워크 피드백에만 의존하는 것이 아니라, 모델 내부 지식을 활용해 의사 레이블 보정을 향상시킬 수 있는가?
• RQ3 강력한 데이터 증강, 모델 노이즈, 이질적인 아키텍처가 어떻게 서로 다른 지식 학습을 촉진하는가?
• RQ4 특징과 중심점 간 거리 기반 자기 보정이 준지도 세그멘테이션에서 의사 레이블 품질을 얼마나 향상시킬 수 있는가?
• RQ5 제안된 강력한 상호 학습 프레임워크는 낮은 데이터 환경에서 기존 SOTA 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• 레이블 데이터가 1/30에 불과한 Cityscapes에서 RML은 이전 SOTA 방법보다 mIoU가 3.45% 높게 기록하여 극단적인 낮은 데이터 환경에서도 뛰어난 성능을 입증한다.
• 레이블 데이터가 1/8에 해당하는 경우, RML은 PASCAL VOC 2012에서 완전히 지도 학습의 성능과 맞먹는 결과를 달성하여 데이터 효율성이 뛰어나다는 것을 보여준다.
• 이중 단계 RML 프레임워크는 Cityscapes에서 감독 학습 기반 베이스라인 대비 총 mIoU 7.62% 향상을 기록했으며, 두 번째 단계에서 성능 향상 기여가 두드러졌다.
• 상호 학습에서 이질적인 아키텍처(Deeplabv2 및 SETR)를 사용할 경우 64.35% mIoU를 기록해 동일 아키텍처 상호 학습(Deeplabv2-Deeplabv2: 61.53%)보다 뛰어난 성능을 보여, 아키텍처 다양성의 효과를 입증한다.
• 하이퍼파ram터 λ에 대해 강건하며, λ 값이 1e-5에서 1e-3 범위에서 mIoU 변화가 0.2% 미만으로 매우 낮아, 감도가 낮고 안정적임을 나타낸다.
• 자기 보정이 의사 레이블 품질을 크게 향상시킨다. 그림 4에서 시각화한 결과, RML은 MeanTeacher 및 직접적 상호 학습보다 더 깔끔한 의사 레이블을 생성한다.