[论文解读] End-to-end named entity extraction from speech

Sahar Ghannay, Antoine Caubrière+3 more|arXiv (Cornell University)|May 30, 2018

Topic Modeling参考文献 20被引用 19

一句话总结

本文提出一种端到端神经架构，通过在改进的 Deep Speech 2 模型中引入字符级 CTC 解码并使用特殊标记表示命名实体边界和类型，联合执行从原始音频输入的自动语音识别（ASR）和命名实体识别（NER）。该方法在测试数据上的 F-measure 达到 0.69，优于标准流水线方法（F-measure 0.65）在命名实体类别检测上的表现。

ABSTRACT

Named entity recognition (NER) is among SLU tasks that usually extract semantic information from textual documents. Until now, NER from speech is made through a pipeline process that consists in processing first an automatic speech recognition (ASR) on the audio and then processing a NER on the ASR outputs. Such approach has some disadvantages (error propagation, metric to tune ASR systems sub-optimal in regards to the final task, reduced space search at the ASR output level...) and it is known that more integrated approaches outperform sequential ones, when they can be applied. In this paper, we present a first study of end-to-end approach that directly extracts named entities from speech, though a unique neural architecture. On a such way, a joint optimization is able for both ASR and NER. Experiments are carried on French data easily accessible, composed of data distributed in several evaluation campaign. Experimental results show that this end-to-end approach provides better results (F-measure=0.69 on test data) than a classical pipeline approach to detect named entity categories (F-measure=0.65).

研究动机与目标

• 通过将两个任务整合到单一神经架构中，解决传统流水线 ASR-NER 系统中存在的错误传播和次优度量对齐问题。
• 克服将基于规则或机器学习的 NER 系统应用于易受转录错误影响的 ASR 输出时所面临的局限性。
• 探索直接从语音到 NER 映射的端到端学习可行性，避免中间文本转录步骤。
• 通过多任务学习（ASR + NER）和利用自动标注的 ASR 输出进行数据增强，提升模型的鲁棒性和性能。
• 研究句法特征（如词性标注）以及专用训练模式（如“星标模式”）对 NER 性能的影响。

提出的方法

• 对 Deep Speech 2 端到端 ASR 模型进行改进，采用包含特殊标记（如 [PER]、[LOC]、[ORG]）以表示命名实体类别和边界的字符集。
• 使用连接时序分类（CTC）损失函数进行训练，直接从原始音频预测包含命名实体标签的字符序列。
• 通过在训练过程中同时优化 ASR 和 NER 目标，实现多任务学习，促进共享表征学习。
• 通过使用预训练的 NER 系统（NeuroNLP2）自动标注 ASR 转录中的命名实体，生成合成训练数据，实现数据增强。
• 在训练期间引入“星标模式”，以增强模型对命名实体预测的关注，提升其在这些目标上的表现。
• 在 NER 推理阶段使用双向 LSTM（BLSTM）结合 CNN 和 CRF 层，并引入词性标注作为句法特征以提升性能。

实验结果

研究问题

• RQ1 能否通过端到端神经架构从原始音频中联合学习语音识别与命名实体识别，从而优于传统流水线系统？
• RQ2 与独立训练相比，联合 ASR 和 NER 训练的多任务学习策略对命名实体检测性能有何影响？
• RQ3 利用自动标注的 ASR 输出进行数据增强，在多大程度上能提升语音端到端 NER 的鲁棒性和准确性？
• RQ4 强调命名实体预测的“星标模式”训练策略是否能带来实体类别检测 F-measure 的可测量提升？
• RQ5 句法特征（如词性标注）如何影响语音端到端 NER 的性能？

主要发现

• 端到端模型在测试集上对命名实体类别的检测 F-measure 达到 0.69，超过流水线方法的 0.65。
• 结合数据增强和“星标模式”训练的端到端方法使类别检测的 F-measure 提升至 0.69，证明了联合优化与聚焦训练的有效性。
• 在命名实体值检测方面，流水线方法仍优于端到端模型（F-measure 0.50 vs. 0.47），表明在值提取方面存在性能差距。
• 引入词性标注显著提升了流水线和端到端设置下的 NER 性能，证实了句法特征的价值。
• 利用自动标注的 ASR 输出进行数据增强有助于提升端到端模型的性能，尤其在结合“星标模式”时效果更明显。
• 本研究证实，端到端学习在语音到 NER 任务中是可行的，并为流水线系统提供了有前景的替代方案，尤其在类别检测方面。