[논문 리뷰] Unsupervised Data Augmentation for Consistency Training

Qizhe Xie, Zihang Dai외 3명|arXiv (Cornell University)|2019. 04. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 74인용 수 1,618

한 줄 요약

UDA는 최첨단 감독 데이터 증강을 일관성 학습의 노이즈로 적용하는 것이 언어 및 비전 작업 전반의 반지도학습을 크게 향상시킨다는 것을 보여줍니다. 매우 적은 라벨 예제로도 강력한 결과를 달성하고 전이 학습 및 대형 데이터세트와 함께 확장됩니다.

ABSTRACT

Semi-supervised learning lately has shown much promise in improving deep learning models when labeled data is scarce. Common among recent approaches is the use of consistency training on a large amount of unlabeled data to constrain model predictions to be invariant to input noise. In this work, we present a new perspective on how to effectively noise unlabeled examples and argue that the quality of noising, specifically those produced by advanced data augmentation methods, plays a crucial role in semi-supervised learning. By substituting simple noising operations with advanced data augmentation methods such as RandAugment and back-translation, our method brings substantial improvements across six language and three vision tasks under the same consistency training framework. On the IMDb text classification dataset, with only 20 labeled examples, our method achieves an error rate of 4.20, outperforming the state-of-the-art model trained on 25,000 labeled examples. On a standard semi-supervised learning benchmark, CIFAR-10, our method outperforms all previous approaches and achieves an error rate of 5.43 with only 250 examples. Our method also combines well with transfer learning, e.g., when finetuning from BERT, and yields improvements in high-data regime, such as ImageNet, whether when there is only 10% labeled data or when a full labeled set with 1.3M extra unlabeled examples is used. Code is available at https://github.com/google-research/uda.

연구 동기 및 목표

• 고품질 데이터 증강이 SSL에서 효과적인 노이즈로 작동한다는 것을 보여준다.
• 증강된 비라벨 데이터를 사용하여 여러 언어 및 비전 작업에서 SSL 성능의 개선을 보여준다.
• 증강 품질이 샘플 효율성 및 라벨링 요건과 어떻게 관련되는지 분석한다.
• UDA가 BERT와 같은 전이 학습 맥락과의 호환성을 시연한다.
• 증강 주도 일관성 학습이 왜 학습에 이점을 주는지에 대한 이론적 통찰을 제공한다.

제안 방법

• 라벨 데이터에 대한 감독 교차 엔트로피와 라벨이 없는 데이터에 대한 q( x̂ | x )로 증강된 데이터에 대한 일관성 손실을 결합한 반지도학습 목표를 공식화한다.
• 이미지의 경우 RandAugment, 텍스트의 경우 역번역과 같은 강한 데이터 증강을 노이즈 소스로 사용하여 간단한 노이즈를 대체한다.
• 일관성 손실을 안정화하기 위해 타깃 분포를 계산하는 파라미터의 고정 복사본을 사용한다.
• 라벨이 없는 데이터 활용을 개선하기 위해 신뢰도 기반 마스킹과 예측 샤프닝을 적용한다.
• 학습에 도움이 되는 도메인 외부의 비라벨 데이터를 선택하기 위해 도메인 관련 데이터 필터링을 도입한다.
• 필요에 따라 BERT 미세조정과 같은 전이 학습 접근 방식과 함께 UDA를 결합할 수 있다.

실험 결과

연구 질문

• RQ1 전통적 노이즈를 최첨단 데이터 증강으로 대체하면 SSL 성능이 향상되는가?
• RQ2 증강 품질이 일관성 학습의 효과 및 샘플 효율성에 어떤 영향을 미치는가?
• RQ3 UDA가 대형 데이터세트로 확장되며 NLP 및 CV에서 전이 학습의 이점을 얻을 수 있는가?
• RQ4 마스킹, 샤프닝, 도메인 필터링 등 어떤 학습 기법이 UDA 성능을 더 향상시키는가?
• RQ5 표준 벤치마크에서 UDA의 성능은 선도 SSL 방법에 비해 어떠한가?

주요 결과

• UDA는 CIFAR-10 및 SVHN에서 라벨 데이터 양이 달라짐에 따라 VAT 및 MixMatch를 지속적으로 능가한다.
• 비전에서 RandAugment를 사용한 UDA는 훨씬 큰 라벨 표본으로 학습된 전적으로 감독된 기준선과 비슷하거나 이를 능가한다.
• 텍스트에서 UDA는 강력한 이득을 제공하고 BERT 사전학습 및 미세 조정과 효과적으로 결합된다.
• UDA는 ImageNet까지 스케일링되며 10% 라벨 데이터와 전체 데이터 및 외부 비라벨 데이터와 함께 상위 1% 정확도를 향상시킨다.
• 데이터 증강 품질은 SSL 이득과 상관관계가 있으며, 더 나은 노이즈가 더 나은 일관성 학습을 낳는다는 가설을 확인한다.
• 이론적 분석은 필요한 라벨 예제 수를 줄일수록 증강 연결성이 증강 그래프에서 더 좋아진다는 것을 연결한다.