[논문 리뷰] Downstream Datasets Make Surprisingly Good Pretraining Corpora

K. Siva Krishna, Saurabh Garg외 2명|arXiv (Cornell University)|2022. 09. 28.

Natural Language Processing Techniques인용 수 7

한 줄 요약

이 논문은 질문 응답 및 일반 지식 추론과 같은 작업에서 50–80%의 성능 향상을 달성함으로써, 표준 사전학습(예: BookWiki와 같은 대규모 상游 코퍼스에서의 사전학습)에 비해 경쟁하거나 이를 초월하는 성능을 보여주는, 직접적인 사전학습—즉, 표준 자기지도 학습 목표(예: 마스크된 언어 모델링)를 사용하여 다운스트림 작업 데이터에 직접 트랜스포머 모델을 사전학습하는 방법을 제안한다. 놀랍게도, 이는 외부 코퍼스에 의존하는 것보다 성능 향상의 주요 원인은 목표 자체에 기인해 있다는 것을 시사한다.

ABSTRACT

For most natural language processing tasks, the dominant practice is to finetune large pretrained transformer models (e.g., BERT) using smaller downstream datasets. Despite the success of this approach, it remains unclear to what extent these gains are attributable to the massive background corpora employed for pretraining versus to the pretraining objectives themselves. This paper introduces a large-scale study of self-pretraining, where the same (downstream) training data is used for both pretraining and finetuning. In experiments addressing both ELECTRA and RoBERTa models and 10 distinct downstream classification datasets, we observe that self-pretraining rivals standard pretraining on the BookWiki corpus (despite using around $10 imes$--$500 imes$ less data), outperforming the latter on $7$ and $5$ datasets, respectively. Surprisingly, these task-specific pretrained models often perform well on other tasks, including the GLUE benchmark. Besides classification tasks, self-pretraining also provides benefits on structured output prediction tasks such as span based question answering and commonsense inference, often providing more than $50\%$ of the performance boosts provided by pretraining on the BookWiki corpus. Our results hint that in many scenarios, performance gains attributable to pretraining are driven primarily by the pretraining objective itself and are not always attributable to the use of external pretraining data in massive amounts. These findings are especially relevant in light of concerns about intellectual property and offensive content in web-scale pretraining data.

연구 동기 및 목표

• 사전학습 성능 향상의 원인이 사전학습 목표인지, 상游 코퍼스의 크기인지에 대해 조사한다.
• 표준 자기지도 학습 목표를 사용할 때, 다운스트림 데이터셋만으로도 효과적인 사전학습 코퍼스가 될 수 있는지 평가한다.
• 다양한 NLP 작업에서 다운스트림 데이터에 대해 사전학습하는 자기사전학습과 대규모 상游 코퍼스에서의 표준 사전학습 간의 성능을 비교한다.
• 자기사전학습 모델이 GLUE 및 구조적 예측 작업을 포함한 다른 다운스트림 작업으로 일반화되는지 평가한다.
• 자기사전학습이 사전학습 데이터에 포함된 해로운 콘텐츠에 노출되는 것을 줄이는 데 미치는 영향을 탐색한다.

제안 방법

• 저자는 다운스트림 테스트에 사용되는 동일한 데이터셋을 사전학습에 사용하는 자기사전학습을 통해 ELECTRA와 RoBERTa 모델을 미세조정한다.
• 사전학습 중에 마스크된 언어 모델링(MLM) 및 대체된 토큰 탐지(RTD)와 같은 표준 자기지도 학습 목표를 적용한다.
• SQuAD, SWAG, HellaSwag, CONLL-2012 NER를 포함한 10개의 다양한 다운스트림 분류 데이터셋에서 성능을 평가한다.
• 세 가지 학습 제도를 비교한다: 무작위 초기화(RI), 자기사전학습(SP), BookWiki에서의 오프더셰프 사전학습(OS).
• 각 모델과 데이터셋에 대해 무작위 초기화 대비 F1 점수 및 F1 향상률을 보고한다.
• 자기사전학습 모델과 오프더셰프 모델 간의 오류 상관관계를 분석하여, 서로 다른 사전학습 전략이 보완적인 예측을 유도하는지 평가한다.

실험 결과

연구 질문

• RQ1 NLP에서의 성능 향상은 상游 코퍼스의 크기나 내용보다 사전학습 목표에 기인하는 정도는 어느 정도인가?
• RQ2 다운스트림 데이터셋만으로도 대규모 상游 코퍼스에서의 성능을 충족하거나 초월하는 효과적인 사전학습 코퍼스로 기능할 수 있는가?
• RQ3 다양한 NLP 작업에서 자기사전학습과 표준 사전학습 간의 다운스트림 성능는 어떻게 비교되는가?
• RQ4 자기사전학습 모델은 사전학습 도메인 외부의 다른 다운스트림 작업으로 일반화되는가?
• RQ5 자기사전학습이 사전학습 데이터에 포함된 해로운 또는 편향된 콘텐츠에 노출되는 것을 줄이는 데 어떤 영향을 미치는가?

주요 결과

• ELECTRA-small를 사용할 경우 10개의 분류 데이터셋 중 7개에서 표준 사전학습(예: BookWiki)보다 자기사전학습이 뛰어난 성능을 보였다. RoBERTa-base를 사용할 경우 10개 중 5개에서 동일한 결과를 얻었다.
• 질문 응답(SQuAD) 작업에서, 자기사전학습은 ELECTRA-small로 78.47%의 F1 점수를 기록하여 오프더셰프 모델의 75.96%를 초월했다.
• SWAG 및 HellaSwag와 같은 구조적 예측 작업에서는 무작위 초기화 대비 70–80%의 성능 향상을 기록했으며, RoBERTa-base는 40–80%의 이점을 얻었다.
• 자기사전학습 모델은 오프더셰프 모델보다 오류 상관관계가 유의미하게 낮아, 서로 다른 인덕티브 바이어스를 학습하고 있음을 시사한다.
• 한 다운스트림 데이터셋에서 사전학습된 모델은 다른 데이터셋으로 일반화하는 데 높은 성능을 보였으며, 88%의 경우에서 오프더셰프 모델의 성능 향상률의 50% 이상을 달성했다.
• 자기사전학습은 웹 스케일 사전학습 코퍼스에 포함된 잠재적인 유해 콘텐츠에 노출되지 않으면서도 상당한 성능 향상을 제공한다.