[论文解读] Advancing Connectionist Temporal Classification With Attention Modeling

Amit Das, Jinyu Li+2 more|arXiv (Cornell University)|Mar 15, 2018

Speech Recognition and Synthesis参考文献 17被引用 5

一句话总结

本文提出将注意力建模直接整合到连接时序分类（Connectionist Temporal Classification, CTC）框架中，以提升基于字符的端到端语音识别性能。通过使用时间卷积特征、上下文向量、隐式语言建模以及逐分量注意力权重，该方法在多种设置下（包括单向和双向LSTM，字符集大小为28和83）实现了18.75%至21.06%的相对词错误率（WER）降低。

ABSTRACT

In this study, we propose advancing all-neural speech recognition by directly incorporating attention modeling within the Connectionist Temporal Classification (CTC) framework. In particular, we derive new context vectors using time convolution features to model attention as part of the CTC network. To further improve attention modeling, we utilize content information extracted from a network representing an implicit language model. Finally, we introduce vector based attention weights that are applied on context vectors across both time and their individual components. We evaluate our system on a 3400 hours Microsoft Cortana voice assistant task and demonstrate that our proposed model consistently outperforms the baseline model achieving about 20% relative reduction in word error rates.

研究动机与目标

• 通过将注意力直接整合到CTC框架中，解决标准CTC在硬对齐和条件独立性方面的局限性。
• 提升基于字符的CTC性能，该性能通常因缺乏语言建模和对齐灵活性而面临较高的WER。
• 通过引入注意力机制，在不依赖外部语言模型或复杂解码过程的前提下，克服纯CTC在低资源场景下的缺陷。
• 在不同模型架构（单向/双向）和输出词汇表（28-和83字符集）下，展示一致的WER改进。

提出的方法

• 利用时间卷积特征推导上下文向量，以捕捉时间依赖性，并在CTC中实现软对齐。
• 在时间维度及其各个分量上对上下文向量应用非均匀注意力权重，以建模长距离依赖关系。
• 在训练过程中引入隐式语言模型，以增强上下文理解并提高输出序列的一致性。
• 提出分量注意力（COMA），使注意力权重不仅作用于时间维度，也作用于上下文向量的特征维度。
• 在编码器和预测网络中集成注意力模块，使用标准CTC损失进行端到端训练。
• 通过共享隐藏层在混合CTC系统中整合字符和词输出，利用改进的字符级建模能力。

实验结果

研究问题

• RQ1 注意力建模能否在不依赖外部语言模型的前提下，有效集成到CTC框架中，以改善序列到序列的对齐？
• RQ2 时间卷积特征与上下文向量的使用是否能实现CTC中的软对齐，从而减少标准CTC固有的硬对齐偏差？
• RQ3 在CTC框架内引入隐式语言建模，能在多大程度上提升字符级自动语音识别（ASR）性能？
• RQ4 分量级注意力（COMA）如何增强CTC中对时间依赖性和特征级依赖性的建模？
• RQ5 所提出的CTC-attention模型是否能在不同模型架构和输出词汇表下实现一致的WER改进？

主要发现

• 在使用28字符集的单向5层LSTM上，所提出的CTC-attention模型相较于原始CTC实现了18.75%的相对WER降低。
• 在使用28字符集的双向5层LSTM上，该模型相较于基线实现了21.06%的相对WER改进。
• 在83字符集设置下，模型实现了20.61%的相对WER降低，表明其在不同输出词汇表下具有良好的鲁棒性。
• 逐步添加各组件（上下文向量、上下文注意力、历史注意力、语言建模、分量注意力）显示出持续且累积的WER提升。
• 即使在基线模型使用双向LSTM和更大字符集的情况下，该模型仍优于原始CTC，表明其具有强大的泛化能力。
• 该方法可构建高精度的基于字符的CTC系统，适用于混合声学-词CTC模型，减少对大型外部语言模型的依赖。