[논문 리뷰] Evolution of transfer learning in natural language processing

Aditya Malte, Pratik Ratadiya|arXiv (Cornell University)|2019. 10. 16.

Topic Modeling참고 문헌 18인용 수 17

한 줄 요약

이 종합 검토는 자연어 처리(NLP)에서 전이 학습의 발전을 추적하며, BERT, GPT, ELMo, ULMFiT, Transformer-XL, XLNet과 같은 핵심 아키텍처를 강조한다. 대규모 문장 집합에서의 자기지도 학습 전처리와 이후의 미세조정을 통해 다양한 NLP 작업에서 최고 성능을 달성할 수 있으며, 특히 트랜스포머 기반 모델이 장거리 의존성 모델링과 의존성 포착에 크게 기여한다.

ABSTRACT

In this paper, we present a study of the recent advancements which have helped bring Transfer Learning to NLP through the use of semi-supervised training. We discuss cutting-edge methods and architectures such as BERT, GPT, ELMo, ULMFit among others. Classically, tasks in natural language processing have been performed through rule-based and statistical methodologies. However, owing to the vast nature of natural languages these methods do not generalise well and failed to learn the nuances of language. Thus machine learning algorithms such as Naive Bayes and decision trees coupled with traditional models such as Bag-of-Words and N-grams were used to usurp this problem. Eventually, with the advent of advanced recurrent neural network architectures such as the LSTM, we were able to achieve state-of-the-art performance in several natural language processing tasks such as text classification and machine translation. We talk about how Transfer Learning has brought about the well-known ImageNet moment for NLP. Several advanced architectures such as the Transformer and its variants have allowed practitioners to leverage knowledge gained from unrelated task to drastically fasten convergence and provide better performance on the target task. This survey represents an effort at providing a succinct yet complete understanding of the recent advances in natural language processing using deep learning in with a special focus on detailing transfer learning and its potential advantages.

연구 동기 및 목표

• 자연어 처리에서 전이 학습의 발전 과정을 종합적으로 개괄하는 것.
• 자기지도 학습 전처리와 미세조정의 역할이 NLP 모델 성능 향상에 기여하는 방식을 분석하는 것.
• 트랜스포머, 상대적 위치 인코딩, 순열 기반 전처리와 같은 아키텍처 혁신이 장거리 의존성 모델링을 향상시키는 방식을 검토하는 것.
• 현대 NLP 모델에서 성능, 계산 비용, 해석 가능성 간의 상충 관계를 평가하는 것.
• 모델 전처리의 열린 과제를 특정화하는 것, 특히 표준화된 벤치마크 부족과 아키텍처 vs. 데이터 스케일이 성능 향상에 기여하는지 여부를 규명하기 어려운 점

제안 방법

• 규칙 기반 시스템과 통계 모델(예: 나이브 베이즈, SVM)에서 시작하여 RNN과 LSTMs에 이르기까지 기초적인 NLP 방법을 조사한다.
• BookCorpus, Wikitext, 1B Word 등의 데이터셋을 사용해 언어 모델링 목표를 통해 자기지도 학습 전처리로의 전환을 상세히 기술한다.
• 확장 가능하고 병렬 처리가 가능한 시퀀스 모델링의 핵심 요소로 트랜스포머 아키텍처와 주목적 메커니즘을 소개한다.
• 반복적이고 장거리 시퀀스 모델링에서 순서적 맥락을 유지하기 위해 Transformer-XL에서 도입된 상대적 위치 인코딩의 혁신을 설명한다.
• 모든 순열을 사용해 마스킹 토큰을 예측하는 일반화된 자동회귀 전처리 방식인 XLNet의 기법을 기술한다. 이는 BERT의 양방향 마스킹 제한을 극복한다.
• Transformer-XL을 XLNet에 통합하여 장거리 의존성 모델링과 기계적 독해 이해와 같은 작업에서의 성능 향상을 분석한다.

실험 결과

연구 질문

• RQ1 규칙 기반 및 통계 기반 NLP 방법에서 딥러닝 모델로의 전환은 언어 이해를 어떻게 향상시켰는가?
• RQ2 장거리 의존성을 효과적으로 모델링할 수 있게 한 핵심 아키텍처 혁신은 무엇이며, 특히 전이 학습의 효과성을 높였는가?
• RQ3 Transformer-XL의 상대적 위치 인코딩은 절대적 위치 임베딩에 비해 시퀀스 모델링에서 어떻게 더 나은 성능을 내는가?
• RQ4 XLNet의 순열 기반 전처리 방식은 BERT의 마스킹 언어 모델링의 한계를 어떻게 극복하는가?
• RQ5 현대의 전처리된 NLP 모델에서 성능, 계산 비용, 해석 가능성 간의 상충 관계는 어떤 방식으로 나타나는가?

주요 결과

• 자기지도 학습 전처리를 통해 대규모 문장 집합에서 사전 학습한 전이 학습 기반의 NLP 모델은 다양한 NLP 작업에서 성능을 크게 향상시키며, 이제는 지배적인 패러다임이 되었다.
• Transformer-XL은 캐시된 은닉 상태와 상대적 위치 인코딩을 사용해 장거리 의존성을 모델링함으로써 enwiki8과 text8에서 최고 성능을 기록했다.
• XLNet은 18개의 NLP 작업에서 BERT를 초월했으며, 기계적 독해 이해 분야에서 두드러진 성능 향상을 보였다. 이는 순열 기반 전처리와 Transformer-XL 통합 덕분이었다.
• BERT의 전처리(마스킹 토큰 사용)와 미세조정 간의 괴리로 인해 성능이 최적화되지 않았으며, XLNet은 시퀀스의 모든 순열을 모델링함으로써 이를 해결했다.
• 성능 향상에도 불구하고 BERT, XLNet, Transformer-XL과 같은 대규모 모델은 막대한 계산 자원을 요구하며, 해석 가능성이 떨어져 실세계 적용에 대한 우려를 낳고 있다.
• 표준 전처리 데이터셋이 없어 성능 향상가의 원인이 아키텍처 혁신인지 단순히 더 큰 전처리 데이터 덕분인지 규명하기 어렵다. 이는 표준화된 벤치마크 필요성을 강조한다.