[논문 리뷰] DELTA: A DEep learning based Language Technology plAtform

Kun Han, Junwen Chen외 21명|arXiv (Cornell University)|2019. 08. 02.

Natural Language Processing Techniques참고 문헌 28인용 수 6

한 줄 요약

DELTA는 자연어 및 음성 처리를 위한 엔드 투 엔드, 오픈소스 딥러닝 플랫폼으로, 모델 훈련, 배포, 개발을 원활하게 지원하도록 설계되었습니다. 최신 신경망 모델을 통합하고 다중모odal 입력을 지원하며, 통합된 I/O 인터페이스와 최적화된 서빙 파이프라인을 통해 생산 환경에서의 추론을 가능하게 하여 벤치마크 작업에서 SOTA 기준선과 동등한 성능을 달성합니다.

ABSTRACT

In this paper we present DELTA, a deep learning based language technology platform. DELTA is an end-to-end platform designed to solve industry level natural language and speech processing problems. It integrates most popular neural network models for training as well as comprehensive deployment tools for production. DELTA aims to provide easy and fast experiences for using, deploying, and developing natural language processing and speech models for both academia and industry use cases. We demonstrate the reliable performance with DELTA on several natural language processing and speech tasks, including text classification, named entity recognition, natural language inference, speech recognition, speaker verification, etc. DELTA has been used for developing several state-of-the-art algorithms for publications and delivering real production to serve millions of users.

연구 동기 및 목표

• 기존 오픈소스 라이브러리가 연구 중심에 치우쳐 있어 모델 서빙 및 확장성 측면에서 부족한 점을 보완하기 위해.
• NLP 및 음성 처리 작업을 위한 일관된 인터페이스를 제공하는 통합적이고 모듈형이며 확장 가능한 프레임워크를 제공하기 위해.
• 모델 훈련과 생산 배포 단계에서 동일한 데이터 처리 및 특징 추출을 보장함으로써, 훈련에서 배포로의 전환을 간소화하기 위해.
• 표준화되고 조합 가능한 구성 요소를 통해 연구자와 엔지니어가 모델을 쉽게 커스터마이징하고 훈련 및 배포할 수 있도록 하기 위해.
• 텍스트, 음성, 수치 특징을 포함한 다중모달 학습을 지원하여 실제 산업 환경에서의 적용 가능성을 높이기 위해.

제안 방법

• DELTA는 Tensorflow 기반으로 구축되었으며, 모든 데이터 전처리 및 특징 추출을 Tensorflow 연산(OPS)으로 노출하여 추론 그래프에 원활하게 통합할 수 있도록 했습니다.
• 플랫폼은 모델과 컴포넌트를 분리한 모듈형 아키텍처를 사용하여, 개발자가 기존 모듈을 조합해 새로운 모델을 구축할 수 있도록 했습니다.
• 단일 명령행 인터페이스를 통해 엔드 투 엔드 훈련을 지원하며, 모델 아키텍처 및 하이퍼파rameter에 대한 고도로 커스터마이징 가능한 설정을 제공합니다.
• 표준화된 I/O 인터페이스를 통해 모델 서빙을 구현하여, 생산 환경에 배포된 모델이 훈련 시 사용된 모델과 동일하게 동작하도록 보장합니다.
• DELTA는 모델 변환(예: TFLite, 동결 그래프로의 변환), 다양한 장치(CPU, GPU, 모바일)용 컴파일, CI/CD와의 Docker 통합을 위한 자동화된 파이프라인 단계를 포함합니다.
• 플랫폼은 Tensorflow XLA와 AOT 컴파일을 활용하여 클라우드, 모바일, 임베디드 플랫폼 전반에서 추론 성능을 최적화합니다.

실험 결과

연구 질문

• RQ1 어떻게 자연어 처리 및 음성 처리 애플리케이션을 위한 훈련, 배포, 개발 워크플로를 통합할 수 있는 딥러닝 플랫폼을 설계할 수 있는가?
• RQ2 모듈형이고 조합 가능한 프레임워크가 최신 기술 기준 모델과의 성능 유사성을 유지하면서도 빠른 프로토타이핑과 생산화를 가능하게 할 수 있는가?
• RQ3 훈련 및 서빙 단계에서 동일한 I/O 및 전처리 인터페이스를 통해 불일치를 제거하고 배포를 단순화할 수 있는가?
• RQ4 이질적인 입력 특징(텍스트, 음성, 수치)을 포함한 다중모달 학습을 지원하는 데 플랫폼이 얼마나 효과적인가?
• RQ5 표준 설정과 공개 벤치마크를 사용할 때 어떤 정도의 성능 및 재현 가능성을 달성할 수 있는가?

주요 결과

• DELTA는 TREC 텍스트 분류에서 92.2% 정확도(기준 91.2%)와 BERT를 사용한 CoNLL2003 NER에서 94.6% F1을 달성하여 다수의 NLP 벤치마크에서 공개된 SOTA 모델과 동등한 성능을 보였습니다.
• 제공된 설정 파일과 egs/ 디렉터리 내의 데이터 전처리 스크립트를 사용해 사용자가 벤치마크 결과를 재현할 수 있음을 입증하여 높은 재현성 확보를 확인했습니다.
• 시퀀스 레이블링 작업에서 DELTA의 BLSTM-CRF 모델은 CoNLL2003 NER에서 84.6% F1을 기록하여 원본 논문에서 보고된 84.7% F1과 매우 유사한 성능을 보였습니다.
• ATIS에서의 의도 탐지 작업에서 DELTA의 모델은 97.4% 정확도를 기록하였으며, 기준 98.2%보다 略적으로 낮지만 재현 구현에 있어 허용 가능한 범위 내에 있었습니다.
• 플랫폼은 훈련 및 배포 단계에서 일관된 동작을 보이며 다중모달 훈련과 배포를 성공적으로 지원하여 배포 복잡도를 감소시켰습니다.
• 병렬 처리된 데이터 처리 및 모델 훈련을 통해 대규모 데이터셋에서의 빠른 반복을 가능하게 하여 효율적인 대규모 훈련을 지원했습니다.