[논문 리뷰] UER: An Open-Source Toolkit for Pre-training Models

Zhe Zhao, Hui Chen외 8명|arXiv (Cornell University)|2019. 09. 12.

Topic Modeling참고 문헌 22인용 수 5

한 줄 요약

UER는 다양한 NLP 모델을 사전 훈련하기 위해 상호 교환 가능한 구성 요소—인코더, 타겟, 미세조정 전략—를 조합하는 오픈소스이자 모듈러한 파이토치 툴킷이다. 이는 최신 모델의 효율적 구현을 가능하게 하며, 공개된 모델 저널에서 제공하는 사전 훈련된 모델을 사용해 하류 작업에서 경쟁력 있거나 최고 성능을 달성한다. BERT의 효율적인 대체 모델로도 기능하며, 유사하거나 더 높은 정확도를 제공한다.

ABSTRACT

Existing works, including ELMO and BERT, have revealed the importance of pre-training for NLP tasks. While there does not exist a single pre-training model that works best in all cases, it is of necessity to develop a framework that is able to deploy various pre-training models efficiently. For this purpose, we propose an assemble-on-demand pre-training toolkit, namely Universal Encoder Representations (UER). UER is loosely coupled, and encapsulated with rich modules. By assembling modules on demand, users can either reproduce a state-of-the-art pre-training model or develop a pre-training model that remains unexplored. With UER, we have built a model zoo, which contains pre-trained models based on different corpora, encoders, and targets (objectives). With proper pre-trained models, we could achieve new state-of-the-art results on a range of downstream datasets.

연구 동기 및 목표

• 다양한 NLP 작업과 하드웨어 제약 조건을 고려할 때, 개발 및 배포에 유연하고 확장 가능한 사전 훈련 모델 프레임워크의 부족을 해결하기 위해.
• 연구자와 실무자가 필요에 따라 모듈러한 구성 요소(인코더, 타겟, 미세조정 전략)를 조합하여 맞춤형 사전 훈련 모델을 구축할 수 있도록 하기 위해.
• 다양한 코퍼스, 인코더, 목표 기반의 사전 훈련된 모델을 포함하는 공개된 모델 저널을 구축하고 유지보수하여 즉각적인 하류 작업 사용을 가능하게 하기 위해.
• 특정 작업에 최적화된 사전 훈련 목표와 인코더를 선택함으로써 성능을 크게 향상시킬 수 있음을 입증하기 위해, 특히 2층 LSTM과 같은 경량 아키텍처라도 말이다.
• 연구 및 산업 응용 분야에서 재현 가능성과 확장성을 보장하면서도 고성능 및 분산 훈련 호환성을 갖춘 툴킷을 제공하기 위해.

제안 방법

• UER는 서브인코더, 인코더, 사전 훈련 타겟, 하류 미세조정 전략의 네 가지 핵심 구성 요소로 이루어진 느슨하게 결합된 프레임워크이며, 각각 다수의 플러그 앤 플레이 모듈을 지원한다.
• 이 툴킷은 모듈러한 조합 기능을 제공하여, 사용자가 다양한 인코더(예: BERT 스타일의 트랜스포머, LSTM), 목표(예: MLM, NSP, CLS, 언어 모델링), 그리고 미세조정 접근 방식을 자유롭게 조합할 수 있다.
• 대규모 도메인 특화 코퍼스(예: 아마존 리뷰, 위키백과, BookCorpus)를 사용하여 파이토치 기반으로 사전 훈련을 수행하며, 분산 훈련을 지원한다.
• 프레임워크는 명확하고 최소한의 인터페이스 API를 제공하여 새로운 모듈의 통합을 용이하게 하며, 기존 모델(예: BERT)의 재현과 새로운 아키텍처 개발을 모두 가능하게 한다.
• UER를 사용하여 모델 저널을 구축하였으며, 다양한 인코더, 목표, 코퍼스 기반의 사전 훈련된 모델이 모두 GitHub를 통해 공개되어 있다.
• 평가에는 HuggingFace 및 ERNIE 기준과의 재현성 검증과 하류 작업에서 인코더 및 목표 선택의 영향을 평가하기 위한 분석 연구가 포함되어 있다.

실험 결과

연구 질문

• RQ1 모듈러하고 오픈소스인 툴킷이 성능을 희생시키지 않고도 다양한 사전 훈련 모델의 효율적이고 융통성 있는 구현을 가능하게 할 수 있는가?
• RQ2 예를 들어 NSP 대신 CLS를 사용하는 대체 사전 훈련 목표가 문장 수준의 분류 작업(예: 감성 분석)에서 성능을 얼마나 향상시킬 수 있는가?
• RQ3 경량 인코더인 2층 LSTM이 도메인 특화 코퍼스에서 최적화된 목표로 사전 훈련될 경우, BERT와 유사하거나 더 높은 성능을 달성할 수 있는가?
• RQ4 코퍼스, 인코더, 목표 기반의 모델 선택이 다양한 NLP 작업에서 하류 성능에 어떻게 영향을 미치는가?
• RQ5 UER와 같은 통합 툴킷이 자원 제약 조건이 있는 환경에서도 최고 성능과 높은 훈련 효율성을 동시에 지원할 수 있는가?

주요 결과

• UER는 벤치마크 데이터셋에서 BERT와 ERNIE의 성능을 성공적으로 재현하였으며, HuggingFace 및 ERNIE의 구현 결과와 비교해도 동등하거나 뛰어난 성능을 기록하였다.
• 도메인 특화 코퍼스(예: 아마존 리뷰)에서 사전 훈련한 결과는 위키백과에서 사전 훈련된 BERT-base 중국어 모델보다 감성 분석 작업에서 성능이 뚜렷이 향상되었다.
• 문장 수준의 리뷰 분석에 CLS 기반 목표를 사용할 경우, MLM 전용 및 NSP 기반 목표보다 우수한 성능을 보였으며, Chnsenticorp 데이터셋에서 95.8%의 정확도를 달성하였다.
• 아마존 리뷰에서 사전 훈련된 2층 LSTM 인코더는 Chnsenticorp에서 94.5%의 정확도를 기록하여 BERT-base 중국어 기준(94.3%)을 초월하였으며, 효율성과 성능이 공존할 수 있음을 입증하였다.
• UER로 구축한 모델 저널을 통해 사용자는 특정 하류 작업에 최적화된 사전 훈련된 모델을 선택할 수 있었으며, 일반적인 사전 훈련 모델 대비 일관된 성능 향상을 이끌어냈다.
• UER는 분산 훈련을 지원하며, 문서화된 스크립트를 통해 전체 재현 가능성을 확보하여 연구자가 최소한의 설정으로 결과를 재현할 수 있도록 하였다.