[논문 리뷰] Decoupled Certainty-Driven Consistency Loss for Semi-supervised Learning

Lu Liu, Yiting Li외 1명|arXiv (Cornell University)|2019. 01. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 55인용 수 16

한 줄 요약

이 논문은 일관성 정규화 동안 교사 예측의 신뢰도에 따라 동적으로 불확실한 예측을 필터링하거나 가중치를 낮추는 Certainty-driven Consistency Loss (CCL)를 제안한다. 모델 간 차이와 예측 불확실성의 분리에 기반하여 CCL는 SVHN, CIFAR-10, CIFAR-100에서 최신 기준 성능을 달성하며, 기존 일관성 기반 방법들을 능가한다.

ABSTRACT

One of the successful approaches in semi-supervised learning is based on the consistency regularization. Typically, a student model is trained to be consistent with teacher prediction for the inputs under different perturbations. To be successful, the prediction targets given by teacher should have good quality, otherwise the student can be misled by teacher. Unfortunately, existing methods do not assess the quality of the teacher targets. In this paper, we propose a novel Certainty-driven Consistency Loss (CCL) that exploits the predictive uncertainty in the consistency loss to let the student dynamically learn from reliable targets. Specifically, we propose two approaches, i.e. Filtering CCL and Temperature CCL to either filter out uncertain predictions or pay less attention on them in the consistency regularization. We further introduce a novel decoupled framework to encourage model difference. Experimental results on SVHN, CIFAR-10, and CIFAR-100 demonstrate the advantages of our method over a few existing methods.

연구 동기 및 목표

• 기존 일관성 정규화 방법이 신뢰도에 관계없이 모든 교사 예측을 동일하게 취급하는 한계를 해결하기 위해.
• 예측 불확실성에 기반해 교사 예측의 영향력을 동적으로 조정하여 모델 일반화 성능을 향상시키기 위해.
• 학생 및 교사 네트워크 간 의미 있는 모델 차이를 유도하는 분리된 프레임워크를 개발하기 위해.
• 준지도학습에서 저품질 또는 불확실한 교사 예측으로 인한 모델 성능 저하 위험을 줄이기 위해.

제안 방법

• 교사 출력의 예측 불확실성에 기반해 일관성 손실을 조절하는 Certainty-driven Consistency Loss (CCL)를 제안한다.
• 두 가지 변형을 도입한다: 필터링 CCL는 손실 계산에서 불확실한 예측을 제거하고, 온도 기반 CCL는 온도 스케일링된 소프트 레이블을 사용해 불확실한 예측의 손실 가중치를 감소시킨다.
• 학생 및 교사 모델 간의 발산을 유도해 공진화를 방지하고 강건성을 향상시키기 위해 분리된 훈련 프레임워크를 활용한다.
• 엔트로피 기반 불확실성 추정을 사용해 저신뢰도 예측을 식별하고 일관성 정규화 과정을 안내한다.
• 데이터 증강을 적용해 입력의 변형된 시각을 생성하고, 이를 통해 학생 예측과 필터링되거나 가중치가 조정된 교사 출력 간의 일관성을 강제한다.
• 라벨이 부여된 데이터에 대한 지도 학습 손실과 라벨이 없는 데이터에 대한 불확실성 인식 일관성 손실을 조합하여 학생 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 예측 불확실성을 효과적으로 활용하여 준지도학습에서 일관성 정규화의 신뢰성을 향상시킬 수 있는가?
• RQ2 불확실한 교사 예측을 필터링하거나 가중치를 낮추는 것이 모델 일반화 및 강건성에 어떤 영향을 미치는가?
• RQ3 학생 및 교사 모델 간의 차이를 유도하는 분리된 훈련 프레임워크가 준지도학습에서 더 나은 성능을 내는가?
• RQ4 제안된 CCL 방법이 표준 벤치마크에서 기존 일관성 기반 접근법보다 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• 제안된 Certainty-driven Consistency Loss (CCL)는 고품질 교사 예측에 집중함으로써 준지도학습 성능을 크게 향상시킨다.
• 필터링 CCL과 온도 기반 CCL 모두 불확실하거나 노이즈가 많은 교사 출력의 영향을 줄여 일반화 성능을 향상시킨다.
• 분리된 프레임워크는 모델 다양성을 향상시키고 공진화를 방지하여 평가된 모든 데이터셋에서 정확도 향상에 기여한다.
• CIFAR-10에서 제안된 방법은 표준 준지도학습 설정 하에서 최신 기준 성능을 달성하며, 이전 일관성 기반 방법들을 능가한다.
• SVHN과 CIFAR-100에서도 일관된 성능 향상이 나타나 다양한 데이터 분포와 레이블 부족 수준에서의 강건성을 확인한다.
• 실증 결과는 불확실성 인식 일관성 정규화가 더 신뢰도 있고 안정적인 훈련 동역학을 이끌어낸다는 것을 보여준다.