[논문 리뷰] Curriculum Labeling: Revisiting Pseudo-Labeling for Semi-Supervised Learning

Paola Cascante-Bonilla, Fuwen Tan외 2명|arXiv (Cornell University)|2020. 01. 15.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 극값 이론 기반 자가패싱(self-pacing)을 사용하여 고신뢰도의 가짜 레이블 샘플을 선택하고 각 반복 전에 모델 가중치를 재초기화하여 개념 이탈(concept drift)을 방지하는 커리큘럼 레이블링(Curriculum Labeling)을 도입함으로써 준지도학습을 위한 가짜 레이블링을 재검토한다. 이 방법은 단지 4,000개의 레이블된 샘플만을 사용하여 CIFAR-10에서 94.91%의 정확도를 달성하고, 레이블된 데이터의 10%만을 사용하여 ImageNet-ILSVRC에서 68.87%의 top-1 정확도를 기록하며 최근의 일致성 기반 방법들을 능가하며, 분포 외(unlabeled) 데이터에 대해서도 강건함을 보여준다.

ABSTRACT

In this paper we revisit the idea of pseudo-labeling in the context of semi-supervised learning where a learning algorithm has access to a small set of labeled samples and a large set of unlabeled samples. Pseudo-labeling works by applying pseudo-labels to samples in the unlabeled set by using a model trained on the combination of the labeled samples and any previously pseudo-labeled samples, and iteratively repeating this process in a self-training cycle. Current methods seem to have abandoned this approach in favor of consistency regularization methods that train models under a combination of different styles of self-supervised losses on the unlabeled samples and standard supervised losses on the labeled samples. We empirically demonstrate that pseudo-labeling can in fact be competitive with the state-of-the-art, while being more resilient to out-of-distribution samples in the unlabeled set. We identify two key factors that allow pseudo-labeling to achieve such remarkable results (1) applying curriculum learning principles and (2) avoiding concept drift by restarting model parameters before each self-training cycle. We obtain 94.91% accuracy on CIFAR-10 using only 4,000 labeled samples, and 68.87% top-1 accuracy on Imagenet-ILSVRC using only 10% of the labeled samples. The code is available at https://github.com/uvavision/Curriculum-Labeling

연구 동기 및 목표

• 최근 주목받는 일致성 정규화 방법들과의 비교를 통해 현대 준지도학습에서 가짜 레이블링의 효과성을 재평가하는 것.
• 반복적 자기학습에서 발생하는 개념 이탈과 확인 편향(confirmation bias) 등의 문제점을 해결하기 위해 전통적 가짜 레이블링의 한계를 해결하는 것.
• 현재의 준지도학습 방법들이 자주 실패하는 분포 외(unlabeled) 샘플에 대한 강건성을 향상시키는 것.
• 커리큘럼 학습과 모델 재초기화를 통해 단순하고 고전적인 접근 방식인 가짜 레이블링이 상태의 최신 성능을 달성할 수 있음을 보여주는 것.

제안 방법

• 극값 이론(Extreme Value Theory, EVT)을 활용하여 가짜 레이블링에 대한 신뢰도 임계값을 비정적(dynamic)으로 설정하는 자가패싱 전략인 커리큘럼 레이블링(CL)을 도입한다.
• 학습이 진행됨에 따라 가장 높은 신뢰도 예측부터 점진적으로 낮은 신뢰도 샘플로 이르는 커리큘럼 학습 철학을 적용한다.
• 각 자기학습 반복 전에 모델 가중치를 재초기화하여 오류 누적과 개념 이탈을 방지한다.
• 모델을 먼저 레이블된 데이터로 학습한 후, 나머지 비레이블 데이터에 대해 가짜 레이블을 할당하는 자기학습 루프를 구현하며, 각 사이클에서 가장 높은 신뢰도 예측만을 학습 세트에 추가한다.
• 일반화 성능 향상을 위해 데이터 증강과 ZCA 전처리를 적용하고, 레이블된 데이터와 가짜 레이블된 데이터에 대해 표준 교차 엔트로피 손실을 통해 모델 업데이트를 수행한다.
• 성능 수렴 또는 비레이블 세트의 전반적 활용을 기준으로 정지 기준을 설정한다.

실험 결과

연구 질문

• RQ1 철저히 설계된 커리큘럼 전략이 가짜 레이블링의 성능을 현대의 일치성 기반 준지도학습 방법들과 견줄 수 있거나 이를 초월하도록 복원할 수 있는가?
• RQ2 각 자기학습 반복 전에 모델을 재초기화하는 것이 가짜 레이블링의 성능과 강건성에 어떤 영향을 미치는가?
• RQ3 가짜 레이블링은 일치성 정규화 방법들과 비교해 비레이블 세트 내 분포 외 샘플에 대해 어느 정도 강건한가?
• RQ4 고정 임계값 대비 EVT 기반 동적 임계값 설정이 정확도와 수렴 안정성 측면에서 더 우수한가?

주요 결과

• 커리큘럼 레이블링은 레이블된 샘플이 단지 4,000개인 CIFAR-10에서 94.91%의 top-1 정확도를 기록하며, UDA와 같은 최신 기준 방법들과 동등한 성능을 달성한다.
• ImageNet-ILSVRC에서는 레이블된 데이터의 10%만을 사용하여 68.87%의 top-1 정확도를 기록하며, UDA와 ICT를 모두 능가한다.
• EVT 기반 자가패싱 커리큘럼은 고정 임계값 가짜 레이블링(예: 0.9 및 0.9995)보다 뚜렷이 뛰어나며, 특히 후반기 학습 단계에서 고정 임계값이 거의 향상 효과를 내지 못하는 데 비해 유의미한 성능 향상을 보인다.
• 각 반복 전에 모델을 재초기화함으로써, 미세조정(fine-tuning) 대비 최소 1% 이상의 정확도 향상을 달성하며, 개념 이탈과 확인 편향을 효과적으로 완화한다.
• 비레이블 세트 내 분포 외 샘플에 대해 기존의 일치성 정규화 방법들과 비교해 뛰어난 강건성을 보이며, 이는 많은 일치성 기반 준지도학습 방법들이 자주 실패하는 핵심 사례이다.
• 고정 임계값과 표준 증강 기법을 사용하는 단순 가짜 레이블링은 심지어 강력한 데이터 증강을 적용하더라도 제안된 커리큘럼 접근 방식의 성능을 따라잡지 못한다.