[논문 리뷰] PyText: A Seamless Path from NLP research to production

A. Aly, Kushal Lakhotia외 8명|arXiv (Cornell University)|2018. 12. 12.

Topic Modeling참고 문헌 9인용 수 16

한 줄 요약

PyText는 ONNX를 통해 Caffe2로의 원활한 모델 내보내기를 제공함으로써 빠른 연구 프로토타이핑과 산업 규모의 배포를 연결하는 PyTorch 기반의 NLP 프레임워크입니다. 이는 저지연 시간 추론을 보장하며, 모듈식이고 확장 가능한 구성 요소 및 통합된 워크플로우를 통해 훈련과 추론 간 데이터 일관성과 성능을 유지함으로써 NLP 모델의 프로덕션까지의 시간을 단축시킵니다.

ABSTRACT

We introduce PyText - a deep learning based NLP modeling framework built on PyTorch. PyText addresses the often-conflicting requirements of enabling rapid experimentation and of serving models at scale. It achieves this by providing simple and extensible interfaces for model components, and by using PyTorch's capabilities of exporting models for inference via the optimized Caffe2 execution engine. We report our own experience of migrating experimentation and production workflows to PyText, which enabled us to iterate faster on novel modeling ideas and then seamlessly ship them at industrial scale.

연구 동기 및 목표

• 빠른 NLP 모델 실험과 프로덕션 배포 사이의 격차를 해소하기 위해, 이는 종종 상충되는 요구사항을 수반합니다.
• 탄력적인 프로토타이핑과 대규모에서의 고성능 추론을 모두 지원하는 통합 프레임워크를 제공하기 위해.
• 훈련과 추론 단계 간 데이터 일관성을 제거하기 위해, C++ 기반의 피처화 및 어휘 처리를 단일화하여 단일 기반으로 공유하기 위해.
• ONNX를 통해 PyTorch 모델을 Caffe2로 내보내어 저지연 시간, 고처리량 추론을 가능하게 하기 위해.
• 모델 훈련, 평가, 배포를 위한 명확하고 확장 가능한 워크플로우를 통해 연구에서 프로덕션으로의 전환을 단순화하기 위해.

제안 방법

• PyText는 각각의 모델 요소—데이터 핸들러, 모델, 최적화기, 메트릭 보고기, 트레이너, 예측기, 내보내기기—가 구성 가능하고 등록된 컴포넌트인 컴포넌트 기반 아키텍처를 사용합니다.
• 훈련에는 PyTorch의 동적 계산을 활용하고, ONNX를 통해 모델을 Caffe2로 내보내어 최적화된 추론을 가능하게 합니다.
• C++ 기반의 피처화 라이브러리는 텍스트 전처리(토크나이저, 정규화, ID 매핑)를 훈련과 추론 간에 일관되게 처리합니다.
• 어휘 관리는 내보낸 Caffe2 그래프를 후처리하여 어휘를 직접 내장함으로써 런타임 동기화 문제를 방지합니다.
• 프레임워크는 ONNX를 통한 모델 내보내기를 지원하며, C++ 기반 추론과 FP16 지원을 통해 성능 튜닝이 가능합니다.
• 모델 모니터링을 위해 TensorBoard와 Visdom과의 통합을 지원하며, 모델 해석성 지원을 위해 LIME과 SHAP도 향후 계획하고 있습니다.

실험 결과

연구 질문

• RQ1 딥 러닝 프레임워크는 어떻게 빠른 NLP 모델 실험을 지원하면서도 저지연 시간, 고처리량의 프로덕션 배포를 가능하게 할 수 있는가?
• RQ2 어떤 아키텍처 패턴이 훈련 및 추론 파이프라인 간 일관된 데이터 전처리 및 어휘 처리를 가능하게 하는가?
• RQ3 ONNX를 통해 PyTorch 모델을 Caffe2로 내보내는 것이 추론 지연 시간과 처리량에 얼마나 기여하는가?
• RQ4 통합 워크플로우는 산업 환경에서 새로운 NLP 모델의 프로덕션까지의 시간을 얼마나 단축시킬 수 있는가?
• RQ5 Python 기반 추론에서 C++ 컴파일된 모델로의 이행은 어떤 성능 향상을 가져올 수 있는가?

주요 결과

• PyTorch C++ API를 통해 Python에서 C++로 모델을 이식함으로써 추론 지연 시간이 크게 감소하였으며, JointBLSTM 모델은 뚜렷한 향상을 보였고, RNNG는 약간이지만 유의미한 성능 향상을 보였습니다.
• C++ 기반의 피처화 라이브러리는 훈련과 추론 간 데이터 일관성을 보장하여 별도의 전처리 파이프라인으로 인한 불일치를 제거했습니다.
• 내보낸 Caffe2 그래프를 후처리하여 어휘를 직접 내장하는 방식이 원격으로 관리되는 버전화된 어휘보다 더 신뢰할 수 있었으며, 동기화 문제를 방지했습니다.
• 프레임워크는 새로운 모델링 아이디어에 대한 반복 개선을 가속화하고 대규모에서의 원활한 배포를 가능하게 하여 연구에서 프로덕션까지의 시간을 단축시켰습니다.
• 성능 벤치마크 결과, C++ 컴파일된 모델은 Python 기반 모델보다 낮은 지연 시간을 기록했으며, 특히 CPU 전용 시스템에서 두드러진 성능 향상을 보였습니다.
• ONNX를 통한 모델 내보내기는 Caffe2의 최적화된 추론 엔진을 통해 효율적인 배포를 가능하게 하여 산업 규모의 서비스를 지원했습니다.