[논문 리뷰] NLP From Scratch Without Large-Scale Pretraining: A Simple and Efficient Framework

Xingcheng Yao, Yanan Zheng외 2명|arXiv (Cornell University)|2021. 11. 07.

Topic Modeling참고 문헌 38인용 수 11

한 줄 요약

이 논문은 레이블이 부여된 작업 데이터를 쿼리로 사용하여 대규모 일반 코퍼스에서 작업에 관련된 소규모 부분집합을 검색하는 전처리 기반 프레임워크인 TLM을 제안한다. 이 검색된 데이터에서 작업 특화 목적과 언어 모델링 목적을 동시에 최적화함으로써, TLM은 RoBERTa-Large와 비슷하거나 뛰어난 성능을 달성하면서도 훈련 FLOPs를 두 배수 감소시킨다.

ABSTRACT

Pretrained language models have become the standard approach for many NLP tasks due to strong performance, but they are very expensive to train. We propose a simple and efficient learning framework, TLM, that does not rely on large-scale pretraining. Given some labeled task data and a large general corpus, TLM uses task data as queries to retrieve a tiny subset of the general corpus and jointly optimizes the task objective and the language modeling objective from scratch. On eight classification datasets in four domains, TLM achieves results better than or similar to pretrained language models (e.g., RoBERTa-Large) while reducing the training FLOPs by two orders of magnitude. With high accuracy and efficiency, we hope TLM will contribute to democratizing NLP and expediting its development.

연구 동기 및 목표

• 대규모 사전 훈련된 언어 모델(PLM)의 높은 계산 비용으로 인해 자원이 제한된 연구자들이 접근하기 어려운 문제를 해결하기 위해.
• 표준 사전 훈련-Fine-tuning 파라다임의 대안을 탐색하여 성능을 훼손하지 않으면서도 훈련 FLOPs를 극적으로 줄이기 위해.
• 레이블이 부여된 작업 데이터와 일반 코퍼스만을 사용하여 모델을 처음부터 효율적이고 저비용으로 훈련시켜 NLP 연구의 민주화를 위해.
• 대규모 코퍼스에서 작업에 관련된 데이터를 검색하는 것이 광범위한 사전 훈련이 필요 없이도 모델의 효과성을 유지할 수 있는지 조사하기 위해.

제안 방법

• 레이블이 부여된 작업 데이터를 쿼리로 사용하여 BM25(어휘 유사도 기반의 희소 검색 방법)를 활용해 대규모 일반 코퍼스에서 소규모이고 관련성이 높은 부분집합을 검색한다.
• 검색된 코퍼스 부분집합과 레이블이 부여된 작업 데이터를 모두 사용하여 Transformer 기반 모델을 처음부터 훈련시킨다.
• 두 목적함수를 동시에 최적화한다: (1) 지도 학습 목적함수(예: 분류 손실)와 (2) 검색된 코퍼스 부분집합에 대한 마스킹 언어 모델링 목적함수.
• 표준 Transformer 아키텍처를 적용하여 다중 헤드 어텐션과 피드포워드 네트워크를 사용하며, 사전 훈련 단계 없이 엔드 투 엔드로 훈련한다.
• 모델 크기와 훈련 계산 자원을 RoBERTa-Large와 같은 기준 기반 PLM과 동일하거나 유사하게 제어하여 FLOPs와 모델 크기 측면에서 비교 가능하게 한다.
• 검색 기반 필터링 메커니즘을 적용하여 일반 코퍼스의 인덕티브 바이어스를 줄이고, 최종적으로 하류 작업에 관련된 지식에만 집중한다.

실험 결과

연구 질문

• RQ1 대규모 사전 훈련 없이도 NLP 작업에서 경쟁적인 성능을 달성할 수 있는가?
• RQ2 대규모 코퍼스에서 소규모이고 작업에 관련된 부분집합만 검색하는 것이 전체 규모의 사전 훈련이 필요 없이도 충분한가?
• RQ3 작은 컨텍스트에 맞춰진 코퍼스에서 작업 특화 목적과 언어 모델링 목적을 동시에 최적화하면, 전체 사전 훈련과 비교해 더 나은 결과나 동등한 결과를 낼 수 있는가?
• RQ4 기존의 표준 PLM 대비 성능을 유지하거나 향상시키면서 훈련 FLOPs를 얼마나 줄일 수 있는가?
• RQ5 제안된 TLM 프레임워크의 어텐션 패턴은 표준 PLM과 어떻게 다를지, 그리고 더 정보적인 표현을 나타내는가?

주요 결과

• TLM은 여덟 가지 작업 평균 GLUE 점수 82.60을 기록했으며, BERT-Base(82.97)와 유사하고 일부 벤치마크에서는 RoBERTa-Large를 뛰어넘는 성능을 보였다.
• 의료 생물학 분야의 ChemProt 분류 작업에서 TLM은 RoBERTa-Large를 능가하며, 사전 훈련 없이도 뛰어난 성능을 보였다.
• TLM은 훈련 FLOPs를 두 배수 감소시켰다—1,000장의 V100 GPU로 하루 동안 훈련하는 것에서 8장의 GPU로 42시간 동안 훈련하는 것으로 줄였다.
• 어텐션 시각화 결과 TLM은 더 정보적인 어텐션 패턴을 학습했으며, 위치 기반 헤드 비율이 높고, [CLS], [SEP], 또는 마침표 토큰에 집중하는 수직 헤드 비율이 표준 PLM보다 낮았다.
• BM25를 통한 검색은 의료 및 컴퓨터 과학과 같은 전문 분야에서 도메인 특화 용어를 효과적으로 포착하여 강력한 어휘 유사도를 보였다.
• 뉴스, 리뷰, 컴퓨터 과학, 의생물학 과 같은 다양한 도메인에서 프레임워크가 강력한 성능을 유지하며 일반화 가능성에 대한 확인을 받았다.