[논문 리뷰] EasyNLP: A Comprehensive and Easy-to-use Toolkit for Natural Language Processing

Chengyu Wang, Minghui Qiu외 8명|arXiv (Cornell University)|2022. 04. 30.

Advanced Data Processing Techniques인용 수 5

한 줄 요약

EasyNLP는 통합 지식 강화 사전 훈련, 대비 프롬프트 테이닝을 통한 소수의 예제 학습, 지식 distillation을 통해 대규모 사전 훈련 모델(PTM)의 효율적 개발 및 배포를 가능하게 하는 종합적이고 사용자 友好的한 NLP 툴킷입니다. 이는 제로샷 프로빙 작업에서 최신 기술 수준의 성능을 달성하며, 최소한의 데이터와 높은 추론 효율성으로 산업 응용에서 최대 5%의 정확도 향상을 이룹니다.

ABSTRACT

The success of Pre-Trained Models (PTMs) has reshaped the development of Natural Language Processing (NLP). Yet, it is not easy to obtain high-performing models and deploy them online for industrial practitioners. To bridge this gap, EasyNLP is designed to make it easy to build NLP applications, which supports a comprehensive suite of NLP algorithms. It further features knowledge-enhanced pre-training, knowledge distillation and few-shot learning functionalities for large-scale PTMs, and provides a unified framework of model training, inference and deployment for real-world applications. Currently, EasyNLP has powered over ten business units within Alibaba Group and is seamlessly integrated to the Platform of AI (PAI) products on Alibaba Cloud. The source code of our EasyNLP toolkit is released at GitHub (https://github.com/alibaba/EasyNLP).

연구 동기 및 목표

• 높은 계산 비용, 데이터 부족, 세계 지식의 제한으로 인해 산업 환경에서 대규모 사전 훈련 모델(PTM)을 구현하는 데 도전하는 문제를 해결합니다.
• 사용자들이 소수의 예제 학습 및 지식 distillation 기법을 통해 쉽게 PTM을 미세조정하고 배포할 수 있도록 합니다.
• 새로운 사전 훈련 프레임워크를 통해 지식 기반에서 사실 정보를 통합하여 PTM 성능을 향상시킵니다.
• 알리바바 클라우드의 PAI 플랫폼 통합을 통해 모델 훈련에서 온라인 배포에 이르는 원스톱 파이프라인을 제공합니다.

제안 방법

• 지식 주입을 작업 특화 학습에서 분리함으로써 사실적 이해도를 향상시킬 수 있는 지식 강화 사전 훈련 프레임워크인 DKPLM을 도입합니다.
• 대비 학습을 사용해 자동으로 최적의 버벌라이저 설계를 최적화하는 소수의 예제 학습 방법인 대비 프롬프트 테이닝(CP-Tuning)을 적용합니다. 이로 인해 수동 작업이 감소합니다.
• 다양한 도메인 데이터에 대해 단일 메타 티처를 훈련시켜 다양한 도메인에 걸쳐 작은 학생 모델에 지식을 전달하는 MetaKD를 통해 지식 distillation을 지원합니다.
• 모델 관리, 데이터셋 로딩, 응용 프로그램 구축을 용이하게 하기 위한 통합 API 스택(모델저장소, 앱저장소, 데이터허브)을 제공합니다.
• Hugging Face Transformers 및 알리바바의 PAI 생태계(예: PAI-DSW, PAI-EAS)와 통합되어 확장 가능한 훈련과 온라인 추론을 지원합니다.
• 최소한의 코드로 사용자 정의 지식 기반을 활용해 도메인 특화 PTM 사전 훈련을 가능하게 하여 산업 규모의 배포를 지원합니다.

실험 결과

연구 질문

• RQ1 외부 세계 지식을 효과적으로 사전 훈련 언어 모델에 통합하여 일반 지식 추론 오류를 줄일 수 있는 방법은 무엇인가요?
• RQ2 소수의 레이블이 있는 예제만 존재할 때 대규모 PTM의 소수의 예제 미세조정을 수행하는 데 가장 효과적인 방법은 무엇인가요?
• RQ3 대비 학습을 통해 프롬프트 기반 미세조정에서 버벌라이저의 자동 구축을 수동 설계 없이 향상시킬 수 있을까요?
• RQ4 다양한 도메인에 걸쳐 지식 distillation을 최적화하여 컴act하고 고성능의 학생 모델을 생성할 수 있을까요?
• RQ5 통합 툴킷이 산업 환경에서 훈련에서 온라인 배포에 이르는 전체 NLP 파이프라인을 얼마나 효과적으로 단순화할 수 있을까요?

주요 결과

• DKPLM은 제로샷 지식 프로빙 작업(LAMA 및 LAMA-UHN)에서 최신 기술 수준의 성능을 달성하며, 강력한 베이스라인보다 평균 1.57% 높은 성능을 기록합니다.
• 의료 도메인용 DKPLM 모델은 표준 BERT 대비 명명된 실체 인식 정확도를 3% 이상 향상시킵니다.
• CP-Tuning은 모든 소수의 예제 분류 작업에서 일관된 성능 향상을 달성하며, PET, LM-BFF, P-Tuning을 모두 능가합니다.
• 소수의 예제 데이터를 가진 고객 서비스 응용에서 CP-Tuning은 실체 및 속성 추출 정확도를 각각 2%와 5% 향상시킵니다.
• MetaKD는 BERT-base 모델 크기를 BERT-tiny(1450만 파라미터)로 줄였으며, AliMe 챗봇에서 성능 손실 1% 이내로 7.2배 빠른 추론을 달성합니다.
• FewCLUE 벤치마크에서 EasyNLP의 소수의 예제 툴킷은 평가된 방법들 중에서 가장 뛰어난 성능을 기록했습니다.