[논문 리뷰] Data-Efficient Pretraining via Contrastive Self-Supervision

Nils Rethmeier, Isabelle Augenstein|arXiv (Cornell University)|2020. 10. 02.

Topic Modeling참고 문헌 41인용 수 8

한 줄 요약

이 논문은 NLP 사전학습을 위한 데이터 및 계산 효율적인 대비적 자기지도 학습 방법인 CLESS를 제안한다. CLESS는 외부 데이터를 전혀 사용하지 않고 오직 60MB의 태스크 내부 텍스트만을 사용하며, 0-샷, 소수의 샘플, 장꼬리 일반화 태스크 전반에서 RoBERTa(160GB의 외부 데이터로 사전학습)를 능가한다. 또한 학습 시간은 1/5에 불과하다. 이 방법은 대규모 사전학습 데이터나 모델 크기가 없어도 효과적인 자기지도 학습을 가능하게 하여, 더 나은 저자원 및 공정한 표현 학습을 위해 더 많은 자기지도 학습 신호가 데이터 및 파rameter 확장을 대체할 수 있음을 보여준다.

ABSTRACT

For natural language processing `text-to-text' tasks, the prevailing approaches heavily rely on pretraining large self-supervised models on increasingly larger `task-external' data. Transfer learning from high-resource pretraining works well, but research has focused on settings with very large data and compute requirements, while the potential of efficient low-resource learning, without large `task-external' pretraining, remains under-explored. In this work, we evaluate against three core challenges for resource efficient learning. Namely, we analyze: (1) pretraining data ($X$) efficiency; (2) zero to few-shot label ($Y$) efficiency; and (3) long-tail generalization, since long-tail preservation has been linked to algorithmic fairness and because data in the tail is limited by definition. To address these challenges, we propose a data and compute efficient self-supervised, contrastive text encoder, pretrained on 60MB of `task-internal' text data, and compare it to RoBERTa, which was pretrained on 160GB of `task-external' text. We find our method outperforms RoBERTa, while pretraining and fine-tuning in a 1/5th of RoBERTa's fine-tuning time.

연구 동기 및 목표

• 자기지도 사전학습이 대규모 외부 사전학습 데이터에 대한 의존도를 줄이고 최소한의 데이터와 계산 자원으로도 효과적으로 작동할 수 있는지 조사한다.
• 저자원 환경에서 데이터 효율성(X-효율성), 레이블 효율성(Y-효율성), 장꼬리 일반화 성능을 평가한다.
• 알고리즘적 공정성을 고려하여 희귀 클래스 정보를 유지함으로써, 대규모 사전학습에서 종종 간과되는 문제를 해결한다.
• 대비적 자기지도 학습이 대규모 사전학습 데이터와 모델 크기를 대체하여 더 효율적이고 공정한 표현 학습을 달성할 수 있음을 보여준다.
• 감독 사전학습에 의존하지 않고도 즉각적으로 하류 작업에 적용 가능한 자기지도 학습 기반의 0-샷 모델을 개발한다.

제안 방법

• 태스크 내부 텍스트 60MB에서만 학습하는 대비적 자기지도 학습 목표(CLEss, Contrastive Learning-Data Efficient Self-Supervision)를 제안하여 외부 사전학습 데이터를 회피한다.
• 소프트맥스 기반 목표와 비교해 계산 비용을 줄이고 무한한 클래스 수를 허용하기 위해 임베딩 공간에서 노이즈 대비 추정 기반의 대비 목표를 사용한다.
• 동일한 태스크 데이터에서 생성된 자기지도 허위 레이블을 기반으로 소형 모델(최대 10M 파라미터)을 사전학습하여 외부 데이터 없이도 신호의 다양성을 높인다.
• 하류 작업에 직접 자기지도 표현 헤드를 전이함으로써 0-샷 예측을 가능하게 하여, 미세조정 과정에서 발생할 수 있는 편향을 피한다.
• 헤드에서 尾까지 다섯 개의 박스에 걸쳐 클래스 빈도를 균형 잡아 장꼬리 일반화를 공정하게 평가하며, 尾 박스에는 총 1,315개 클래스의 80.7%가 포함되어 있다.
• CLESS를 RoBERTa(125M 파라미터, 160GB 사전학습 데이터)와 비교하여 0-샷, 소수의 샘플, 장꼬리 일반화 벤치마크에서 평가한다.

실험 결과

연구 질문

• RQ1 60MB의 태스크 내부 텍스트만으로도 외부 데이터 160GB로 사전학습된 모델을 능가하는 강력한 성능을 내는 자기지도 모델이 가능한가?
• RQ2 제한된 레이블 데이터에서 표준 마스킹 언어 모델링보다 대비적 자기지도 학습이 더 나은 0-샷 및 소수의 샘플 일반화 성능을 내는가?
• RQ3 작은 크기의 대비적 사전학습 모델이 RoBERTa처럼 대규모 외부 사전학습 모델보다 장꼬리 클래스에 더 잘 일반화되는가?
• RQ4 자기지도 학습의 신호 양과 모델 크기를 늘리면, 최소한의 사전학습 데이터로도 장꼬리 일반화 성능이 향상되는가?
• RQ5 대비적 자기지도 학습이 대규모 사전학습 데이터와 모델 크기를 대체하여 효율적이고 공정한 표현 학습을 달성할 수 있는가?

주요 결과

• CLESS는 0-샷 학습에서 RoBERTa를 능가하며, 모델 크기를 25% 증가시켰을 때 성능 향상률이 49%에 이른다.
• 소수의 샘플 학습에서 CLESS는 60MB의 태스크 내부 데이터로 사전학습한 반면 RoBERTa의 경우 160GB의 외부 데이터로 사전학습한 후 10%의 레이블 샘플만을 사용해도 성능이 뛰어나다.
• 가장 큰 CLESS 모델(10M 파라미터)은 장꼬리 클래스 박스에서 평균 마이크로-F1 점수 0.251을 기록했고, RoBERTa의 0.173을 상회하며 99.5%의 클래스에서 승리했다.
• CLESS는 RoBERTa보다 훨씬 적은 사전학습 데이터(3개 주기수 감소)와 파라미터를 사용하면서도 장꼬리 정보를 훨씬 더 잘 유지한다. 이는 희귀 클래스 학습에서 더 큰 데이터가 항상 유리하다는 가정에 도전한다.
• 자기지도 허위 레이블의 수와 모델 크기를 늘릴수록 장꼬리 일반화 성능이 향상되며, 자기지도 학습의 신호 양과 모델 규모가 데이터 규모 부족을 상쇄할 수 있음을 보여준다.
• CLESS의 사전학습 및 미세조정에 소요된 시간은 총 15+10시간으로, RoBERTa의 경우 단지 미세조정만으로도 126시간이 소요되어 학습 비용이 5배 감소했다.