[논문 리뷰] HuggingFace's Transformers: State-of-the-art Natural Language Processing

Thomas Wolf, Lysandre Debut외 20명|arXiv (Cornell University)|2019. 10. 09.

Topic Modeling참고 문헌 35인용 수 3,125

한 줄 요약

Transformers는 통합 API, 사전학습 모델 허브, 그리고 NLP 태스크 전반에 걸친 손쉬운 배포 및 미세 조정을 위한 도구를 갖춘 최첨단 Transformer 아키텍처의 오픈소스 라이브러리를 제공합니다.

ABSTRACT

Recent progress in natural language processing has been driven by advances in both model architecture and model pretraining. Transformer architectures have facilitated building higher-capacity models and pretraining has made it possible to effectively utilize this capacity for a wide variety of tasks. extit{Transformers} is an open-source library with the goal of opening up these advances to the wider machine learning community. The library consists of carefully engineered state-of-the art Transformer architectures under a unified API. Backing this library is a curated collection of pretrained models made by and available for the community. extit{Transformers} is designed to be extensible by researchers, simple for practitioners, and fast and robust in industrial deployments. The library is available at \url{https://github.com/huggingface/transformers}.

연구 동기 및 목표

• 통합된 Transformer 라이브러리가 연구와 생산 배포를 어떻게 가속화하는지 시연한다.
• 일관된 API 내에서 아키텍처 변형, 토크나이저, 그리고 작업 특화 헤드를 선보인다.
• 사전학습 모델의 용이한 공유, 미세 조정, 벤치마킹을 위한 Model Hub를 강조한다.
• PyTorch와 TensorFlow 생태계 전반의 배포 경로 및 생산 지향적 기능을 설명한다.

제안 방법

• Tokenizers, Transformers, Heads로 구성된 라이브러리 설계를 설명한다.
• 구현된 아키텍처와 그들의 태스크 특화 적응을 조사를 한다.
• 모델과 프레임워크 간의 빠른 전환을 위한 Auto 클래스들을 설명한다.
• 접근성을 위한 모델 카드와 라이브 인퍼런스를 갖춘 중앙 집중식 Model Hub를 상세히 설명한다.
• TorchScript, ONNX, 및 엣지 디바이스 적응을 포함한 배포 작업 흐름을 설명한다.

실험 결과

연구 질문

• RQ1 연구와 생산에서 서로 다른 Transformer 아키텍처 간의 쉬운 전환을 단일 API가 어떻게 가능하게 하는가?
• RQ2 하나의 라이브러리 내에서 광범위한 NLP 태스크를 지원하기 위해 필수적인 구성 요소(토크나이저, 변환기, 헤드)는 무엇인가?
• RQ3 Model Hub가 사전학습 모델의 공유, 벤치마킹, 배포를 어떻게 용이하게 하는가?
• RQ4 다양한 플랫폼에서 생산 성능을 최적화하는 배포 전략(TorchScript, ONNX, CoreML 등)은 무엇인가?
• RQ5 라이브러리 내 모델 가용성과 다양성에 대한 커뮤니티 기여의 영향은 무엇인가?

주요 결과

• Transformers는 Model Hub를 통해 대규모 사전학습 모델 컬렉션을 가진 중앙집중적이고 확장 가능한 API를 제공한다.
• 라이브러리는 공통 베이스와 태스크 특화 헤드를 통해 다수의 아키텍처(BERT, GPT-2, RoBERTa, XLNet, T5 등)를 지원한다.
• Tokenizers는 대용량 데이터 세트의 전처리 속도를 높이기 위해 Rust 기반 백엔드로 최적화되어 있다.
• Model Hub는 모델 카드에서 실시간 추론을 가능하게 하고 비전문가도 쉽게 미세 조정과 배포를 할 수 있도록 한다.
• 배포 워크플로는 PyTorch와 TensorFlow의 상호 운용성, TorchScript, ONNX 및 엣지 디바이스 적응을 포괄한다.