[论文解读] DELTA: A DEep learning based Language Technology plAtform

Kun Han, Junwen Chen+21 more|arXiv (Cornell University)|Aug 2, 2019

Natural Language Processing Techniques参考文献 28被引用 6

一句话总结

DELTA 是一个端到端的开源深度学习平台，专为自然语言处理与语音处理而设计，支持无缝的模型训练、部署与开发。它集成了最先进神经模型，支持多模态输入，并通过统一的 I/O 接口和优化的推理管道实现在基准任务上与 SOTA 基线性能相当的生产级推理。

ABSTRACT

In this paper we present DELTA, a deep learning based language technology platform. DELTA is an end-to-end platform designed to solve industry level natural language and speech processing problems. It integrates most popular neural network models for training as well as comprehensive deployment tools for production. DELTA aims to provide easy and fast experiences for using, deploying, and developing natural language processing and speech models for both academia and industry use cases. We demonstrate the reliable performance with DELTA on several natural language processing and speech tasks, including text classification, named entity recognition, natural language inference, speech recognition, speaker verification, etc. DELTA has been used for developing several state-of-the-art algorithms for publications and delivering real production to serve millions of users.

研究动机与目标

• 为现有开源库在模型服务与可扩展性方面更侧重研究而非生产部署的缺口提供解决方案。
• 提供一个统一、模块化且可扩展的框架，支持自然语言处理与语音处理任务，并具备一致的接口。
• 通过确保训练与部署阶段使用相同的数据处理与特征提取方式，简化从模型训练到生产部署的过渡。
• 使研究人员与工程师能够通过标准化、可组合的组件轻松自定义、训练与部署模型。
• 支持包含文本、声学与数值特征的多模态学习，提升在真实工业场景中的适用性。

提出的方法

• DELTA 基于 TensorFlow 构建，将所有数据预处理与特征提取操作表示为 TensorFlow 操作（OP），从而可无缝集成到推理图中。
• 该平台采用模块化架构，模型与组件解耦，允许开发人员通过组合现有模块来构建新模型。
• 通过单一命令行界面支持端到端训练，支持高度可配置的模型架构与超参数设置。
• 通过标准化的 I/O 接口实现模型服务，确保生产环境中部署的模型行为与训练阶段完全一致。
• DELTA 包含自动化管道步骤，用于模型转换（如转为 TFLite、冻结图）、针对各类设备（CPU、GPU、移动设备）的编译，以及与 Docker 的 CI/CD 集成。
• 平台利用 TensorFlow XLA 与 AOT 编译技术，优化云、移动与嵌入式平台上的推理性能。

实验结果

研究问题

• RQ1 如何设计一个深度学习平台，以统一自然语言处理与语音应用的训练、部署与开发工作流？
• RQ2 模块化、可组合的框架在保持与最先进模型性能相当的同时，能否有效支持快速原型设计与生产化？
• RQ3 在训练与服务阶段使用统一的 I/O 与预处理接口，是否能消除差异并简化部署流程？
• RQ4 该平台在支持异构输入特征（文本、声学、数值）的多模态学习方面效果如何？
• RQ5 使用标准化配置与公开基准测试，平台能达到怎样的性能水平与可复现性？

主要发现

• DELTA 在多个自然语言处理基准测试中达到与已发表 SOTA 模型相当的性能，包括在 TREC 文本分类任务中实现 92.2% 的准确率（对比基线 91.2%），以及在 CoNLL2003 NER 任务中使用 BERT 达到 94.6% 的 F1 值。
• 平台展现出强大的可复现性，用户可通过 egs/ 目录中提供的配置文件与数据处理脚本重现基准测试结果。
• 在序列标注任务中，DELTA 的 BLSTM-CRF 模型在 CoNLL2003 NER 上实现 84.6% 的 F1 值，与原始论文报告的 84.7% F1 值极为接近。
• 在 ATIS 意图识别任务中，DELTA 模型达到 97.4% 的准确率，略低于 98.2% 的基线，但处于可接受的再实现误差范围内。
• 平台成功支持多模态训练与部署，训练与服务流水线行为一致，显著降低了部署复杂度。
• DELTA 通过并行化数据处理与模型训练，实现高效的大规模训练，支持在海量数据集上快速迭代。