[논문 리뷰] ReMixMatch: Semi-Supervised Learning with Distribution Alignment and Augmentation Anchoring

David Berthelot, Nicholas Carlini외 5명|arXiv (Cornell University)|2019. 11. 21.

Domain Adaptation and Few-Shot Learning인용 수 321

한 줄 요약

ReMixMatch는 분포 정렬(distribution alignment)과 증강 고정(augmentation anchoring)을 추가하여 MixMatch를 개선하고, 훨씬 적은 라벨 데이터로 최첨단 SSL 정확도를 달성하며 CTAugment를 사용한 강한 증강을 활용합니다.

ABSTRACT

We improve the recently-proposed "MixMatch" semi-supervised learning algorithm by introducing two new techniques: distribution alignment and augmentation anchoring. Distribution alignment encourages the marginal distribution of predictions on unlabeled data to be close to the marginal distribution of ground-truth labels. Augmentation anchoring feeds multiple strongly augmented versions of an input into the model and encourages each output to be close to the prediction for a weakly-augmented version of the same input. To produce strong augmentations, we propose a variant of AutoAugment which learns the augmentation policy while the model is being trained. Our new algorithm, dubbed ReMixMatch, is significantly more data-efficient than prior work, requiring between $5\ imes$ and $16\ imes$ less data to reach the same accuracy. For example, on CIFAR-10 with 250 labeled examples we reach $93.73\\%$ accuracy (compared to MixMatch's accuracy of $93.58\\%$ with $4{,}000$ examples) and a median accuracy of $84.92\\%$ with just four labels per class. We make our code and data open-source at https://github.com/google-research/remixmatch.

연구 동기 및 목표

• Semi-supervised 학습에서 데이터 효율성을 향상시키기 위해 MixMatch의 개선을 제안한다.
• 라벨이 없는 예측 분포를 실제 레이블 분포와 일치시키기 위한 분포 정렬을 도입한다.
• 약한 증강 앵커를 이용해 강한 증강을 안정화하는 증강 고정을 제안한다.
• 레이블 프록시 없이 온라인으로 강한 증강 정책을 학습하는 CTAugment를 개발한다.
• 표준 SSL 벤치마크에서 최첨단 성능을 입증하고 각 구성 요소의 기여를 분석한다.

제안 방법

• 라벨이 없는 예측의 이동 평균을 유지하고 p(y)/p̃(y) 비율을 사용하여 추정치를 재가중해 분포 정렬을 통합한다.
• MixMatch의 일관성 규제를 증강 고정으로 바꾸고 약하게 증강된 앵커를 사용하여 여러 강하게 증강된 뷰를 감독한다.
• 감독 프록시 작업을 피하는 제어 이론 기반의 온라인 증강 정책 학습기인 CTAugment를 도입한다.
• 라벨이 없는 예제당 다중 강한 증강(K)을 적용하고 추정된 라벨을 샤픈(예리하게)하거나 온도 조절한다.
• 강화된 라벨링 데이터와 증강된 데이터에 대해 MixUp를 사용하고, 추가적인 pre-mixup unlabeled 손실과 회전 기반 자기 감독을 도입한다.
• Adam으로 학습하고 고정 학습률과 가중치 감소를 사용하며 최종 가중치를 위해 지수 이동 평균을 활용한다.

실험 결과

연구 질문

• RQ1 분포 정렬이 라벨 분포와 일치시키는 것을 통해 SSL의 성능을 향상시키는가?
• RQ2 증강 고정이 강한 증강을 안정화하고 MixMatch보다 성능을 개선하는가?
• RQ3 온라인 CTAugment 기반 증강 정책이 SSL에서 어떤 영향을 미치는가?
• RQ4 표준 벤치마크에서 라벨 데이터의 양이 달라질 때 ReMixMatch의 성능은 어떻게 다른가?
• RQ5 배치별 차원을 통해 각 구성 요소의 기여는 무엇인가?

주요 결과

• ReMixMatch는 CIFAR-10과 SVHN에서 라벨 데이터 양에 관계없이 최첨단 정확도를 달성한다.
• CIFAR-10에서 250 라벨일 때 ReMixMatch는 93.73% 정확도에 도달하여 4,000 라벨의 MixMatch 성능과 일치하지만 훨씬 적은 데이터 사용.
• STL-10에서 K=1 및 더 높은 K 값에서 ReMixMatch는 MixMatch에 비해 에러율을 대폭 감소시킨다.
• 배치 제거 연구(ablation)에서 분포 정렬, pre-mixup unlabeled 손실, 그리고 더 높은 K가 성능에 긍정적 영향을 미치며, 회전 손실은 매우 낮은 라벨 regime에서 도움이 된다.
• CIFAR-10과 SVHN 전반에 걸쳐 ReMixMatch는 MixMatch에 비해 최대 16배의 데이터 효율성을 보인다.
• 소수 샷 설정(예: CIFAR-10의 클래스당 4 라벨)에서 ReMixMatch는 경쟁력 있는 중앙값 정확도를 달성한다.