[论文解读] Just ASK: Building an Architecture for Extensible Self-Service Spoken Language Understanding

Anjishnu Kumar, Arpit Gupta+10 more|arXiv (Cornell University)|Nov 1, 2017

Topic Modeling参考文献 31被引用 56

一句话总结

描述 Alexa Skills Kit (ASK) 的 SLU 架构的设计与组成，该架构使语音技能能够实现可扩展的自助开发、快速迭代和模型可迁移。

ABSTRACT

This paper presents the design of the machine learning architecture that underlies the Alexa Skills Kit (ASK) a large scale Spoken Language Understanding (SLU) Software Development Kit (SDK) that enables developers to extend the capabilities of Amazon's virtual assistant, Alexa. At Amazon, the infrastructure powers over 25,000 skills deployed through the ASK, as well as AWS's Amazon Lex SLU Service. The ASK emphasizes flexibility, predictability and a rapid iteration cycle for third party developers. It imposes inductive biases that allow it to learn robust SLU models from extremely small and sparse datasets and, in doing so, removes significant barriers to entry for software developers and dialogue systems researchers.

研究动机与目标

• 激发对自助式 SLU 架构的需求，以赋能第三方开发者并加速 Alexa 技能的部署。
• 提出在灵活性、用户体验、快速迭代和模型可部署性之间取得平衡的设计考量。
• 描述 Alexa Meaning Representation Language，以及内置 intents/slot types 如何支持数据资源的重用。
• 介绍 BlueFlow 基础设施，将研究实验与生产部署耦合起来。
• 在 ASK 内概述从技能定义到查询处理和对话管理的工作流程。

提出的方法

• 提出基于 intents 和 slots、面向 API 的接口的模块化、解耦的 SLU 架构。
• 使用 AlexaMRL 来定义可重用的操作、实体和属性，这些映射到技能本体。
• 使用从开发者语法和示例话述生成的加权有限状态传输（WFST）来表示 ASR 和 NLU。
• 通过数据/资源、表示空间和特征层面的技术，应用迁移学习和低资源学习以在小数据场景中实现。
• 采用 BlueFlow 作为基于 Python 的 DSL，以管理数据流、实验和带有 CLI-to-Server 保证的生产部署。
• 结合知识库特性、用于部署的模型优化，以及混合 NLU 流水线（确定性 + 概率性组件）。

实验结果

研究问题

• RQ1 如何设计一个自助式 SLU 框架，以在支持成千上万的第三方技能的同时，维持第一方体验质量？
• RQ2 哪些表示方法和工具能够在生产规模系统中实现 SLU 模型的快速迭代和部署？
• RQ3 如何重用内置资源（intent schemas、slot types、AlexaMRL）以降低新技能的数据需求？
• RQ4 哪些基础设施和数据流抽象最能连接研究实验与生产部署？
• RQ5 知识注入和迁移学习如何在低数据情境下提升 SLU 性能？

主要发现

• ASK 架构通过 ASK 平台部署了超过 25,000 个技能（截至 2017 年）。
• 模块化、解耦的设计实现了快速迭代和组件的独立更新，同时不影响用户体验。
• AlexaMRL 使基于本体的动作和实体得以重用，从而推导语义角色并降低新技能的数据需求。
• 基于 WFST 的 ASR 和 NLU 表示同时支持确定性基于语法的识别和概率模型，使解析既可预测又灵活。
• BlueFlow 提供一个研究人员与生产端共享的框架，以高效地进行实验和部署模型，产出物存储在 S3，运行时数据存储在 DynamoDB。