[논문 리뷰] USB: A Unified Semi-supervised Learning Benchmark for Classification

Yidong Wang, Hao Chen외 20명|arXiv (Cornell University)|2022. 08. 12.

Advanced Neural Network Applications인용 수 42

한 줄 요약

USB는 CV, NLP, Audio의 15개 과제로 구성된 단일화된, 교차 도메인 반지도학습 벤치마크를 제안하며, 사전 학습된 백본을 사용해 14개의 SSL 알고리즘의 비용 효율적 평가를 가능하게 한다.

ABSTRACT

Semi-supervised learning (SSL) improves model generalization by leveraging massive unlabeled data to augment limited labeled samples. However, currently, popular SSL evaluation protocols are often constrained to computer vision (CV) tasks. In addition, previous work typically trains deep neural networks from scratch, which is time-consuming and environmentally unfriendly. To address the above issues, we construct a Unified SSL Benchmark (USB) for classification by selecting 15 diverse, challenging, and comprehensive tasks from CV, natural language processing (NLP), and audio processing (Audio), on which we systematically evaluate the dominant SSL methods, and also open-source a modular and extensible codebase for fair evaluation of these SSL methods. We further provide the pre-trained versions of the state-of-the-art neural models for CV tasks to make the cost affordable for further tuning. USB enables the evaluation of a single SSL algorithm on more tasks from multiple domains but with less cost. Specifically, on a single NVIDIA V100, only 39 GPU days are required to evaluate FixMatch on 15 tasks in USB while 335 GPU days (279 GPU days on 4 CV datasets except for ImageNet) are needed on 5 CV tasks with TorchSSL.

연구 동기 및 목표

• CV 작업에 한정되고 높은 훈련 비용이 있는 SSL 벤치마크의 한계를 동기부여하고 해결한다.
• CV, NLP, Audio에 걸친 15개의 다양한 작업으로 구성된 통합 SSL 벤치마크(USB)를 구축한다.
• 사전 학습된 백본과 사전 학습/미세 조정 패러다임을 채택하여 비용 효율적 평가를 가능하게 한다.
• 재현 가능한 SSL 연구를 위한 오픈 소스형 모듈형 코드베이스와 사전 학습 모델을 제공한다.

제안 방법

• CV, NLP, Audio에서 15개의 다양하고 도전적인 작업을 선정하여 USB를 구성한다.
• 일관성 규제에 근거한 14개의 SSL 알고리즘을 구현한다(예: Pi 모델, Pseudo Labeling, Mean Teacher, VAT, MixMatch, ReMixMatch, UDA, FixMatch, Dash, CoMatch, CRMatch, FlexMatch, AdaMatch, SimMatch).
• 학습 반복 수를 줄이기 위해 사전 학습된 백본(ViT for CV, BERT for NLP, Wav2Vec 2.0/HuBert for Audio)을 사용한다.
• 저비용의 사전 학습 후 미세 조정 패러다임 하에서 SSL 방법을 평가하고 재현성 구성을 위한 설정 파일 및 학습 로그와 함께 결과를 보고한다.
• 도메인 간 SSL 성능을 비교하고 다양한 작업, 사전 학습, 비레이블 데이터 가용성의 영향을 분석한다.

실험 결과

연구 질문

• RQ1 CV 작업에서 학습된 SSL 방법이 단일화된 벤치마크 내에서 NLP 및 Audio 작업으로 일반화되는가?
• RQ2 사전 학습 plus 미세 조정이 정확도를 유지하거나 향상시키면서 SSL 평가 비용을 크게 줄이는가?
• RQ3 USB에서 평가될 때 다중 도메인(CV, NLP, Audio) 간 SSL 알고리즘들의 비교는 어떠한가?
• RQ4 어떤 요인들(예: 적응 임계치, 자기지도 손실, 분포 정렬)이 도메인 간 SSL 성능에 가장 큰 영향을 미치는가?

주요 결과

• 사전 학습된 백본은 학습 반복 수를 크게 줄이고 종종 모든 데이터셋에서 SSL 성능을 향상시킨다.
• ReMixMatch는 Mixup, Distribution Alignment, 회전 자기지도 손실 때문으로 일관되게 높은 순위를 차지하며, 특히 장tail CV 데이터에서 두드러진다.
• 적응 임계치 방법(FlexMatch, AdaMatch)은 Self-supervised 손실 없이 CV와 NLP 전반에서 잘 작동한다.
• 도메인에 따라 SSL 방법의 성능 순위가 달라지며 도메인 특성이 SSL 효과에 영향을 준다는 것을 시사한다.
• USB는 15개 작업에서 39 GPU-일의 평가 비용으로 이전 프로토콜(예: 5개 CV 작업에서 335 GPU-일)보다 훨씬 낮은 평가 비용을 달성한다.
• Audio 작업의 SSL 결과는 고유한 경향을 보이며 AdaMatch와 SimMatch가 강하게 작동하는 반면 CRMatch와 같은 일부 방법은 원시 파형 데이터로 인해 어려움을 겪는다.