[论文解读] Incremental Online Spoken Language Understanding.

Prashanth Gurunath Shivakumar, Naveen Kumar+2 more|arXiv (Cornell University)|Oct 23, 2019

Speech and dialogue systems参考文献 16被引用 4

一句话总结

该论文提出了一种基于RNN的增量式语音语言理解系统，可实时处理ASR转录文本，在不牺牲准确率的情况下降低延迟。通过引入用于句子分割的EOS检测器并实现早期意图检测，该系统在流式条件下于ATIS数据集上实现了比离线方法更低的延迟，同时保持了高精度的意图分类性能。

ABSTRACT

Spoken Language Understanding (SLU) typically comprises of an automatic speech recognition (ASR) followed by a natural language understanding (NLU) module. The two modules process signals in a blocking sequential fashion, i.e., the NLU often has to wait for the ASR to finish processing on an utterance basis, potentially leading to high latencies that render the spoken interaction less natural. In this paper, we propose recurrent neural network (RNN) based incremental processing towards the SLU task of intent detection. The proposed methodology offers lower latencies than a typical SLU system, without any significant reduction in system accuracy. We introduce and analyze different recurrent neural network architectures for incremental and online processing of the ASR transcripts and compare it to the existing offline systems. A lexical End-of-Sentence (EOS) detector is proposed for segmenting the stream of transcript into sentences for intent classification. Intent detection experiments are conducted on benchmark ATIS dataset modified to emulate a continuous incremental stream of words with no utterance demarcation. We also analyze the prospects of early intent detection, before EOS, with our proposed system.

研究动机与目标

• 通过实现ASR转录文本的在线、增量式处理，减少语音语言理解中的延迟。
• 解决传统SLU系统因等待完整话语完成才开始NLU处理而产生的阻塞问题。
• 开发一种词汇级句末（EOS）检测器，用于将连续语音流分割为句子，以支持意图分类。
• 在完整句子完成前实现早期意图检测，提升实时交互中的响应速度。
• 在流式条件下，使用ATIS基准评估增量式SLU中延迟与准确率之间的权衡。

提出的方法

• 采用循环神经网络（RNN）对ASR转录文本进行增量式处理，实现在单词流输入过程中实时检测意图。
• 引入一种词汇级句末（EOS）检测器，用于识别连续语音流中的句子边界，从而实现实时意图分类。
• 对ATIS数据集进行修改，以模拟连续的、无话语分隔的词流，用于真实环境下的增量处理评估。
• 训练并评估RNN架构在增量处理中的表现，与标准离线系统在延迟和准确率方面进行比较。
• 通过基于部分输入序列在EOS信号出现前进行意图分类，实现早期意图检测。
• 采用流式推理管道，一旦获得足够上下文即刻预测意图，最大限度减少延迟。

实验结果

研究问题

• RQ1 基于RNN的增量式处理是否能在不降低意图检测准确率的前提下减少语音语言理解中的延迟？
• RQ2 词汇级EOS检测器在实时意图分类中对连续语音流的句子分割效果如何？
• RQ3 在保持可接受准确率的前提下，能在多大程度上实现在完整句子完成前的早期意图检测？
• RQ4 不同RNN架构在增量处理设置下的表现与标准离线模型相比如何？
• RQ5 增量式SLU系统中，延迟降低与准确率之间的权衡关系如何？

主要发现

• 所提出的增量式RNN系统在保持与传统离线SLU系统相当的意图检测准确率的同时，显著降低了延迟。
• 词汇级EOS检测器能有效识别连续流中的句子边界，从而实现及时的意图分类。
• 早期意图检测是可行的，系统可在完整句子接收前生成可靠的预测。
• 该增量式RNN方法在处理部分话语时仍能保持高准确率，表现出对不完整输入的鲁棒性。
• 不同RNN架构在增量设置下表现各异，部分架构在延迟-准确率权衡上优于其他模型。
• 该系统在延迟方面优于标准离线基线模型，准确率相当或略低，表明其在实时应用中具有有利的权衡特性。