[论文解读] Bayes risk CTC: Controllable CTC alignment in Sequence-to-Sequence tasks

Jinchuan Tian, Brian Yan+4 more|arXiv (Cornell University)|Oct 14, 2022

Algorithms and Data Compression被引用 4

一句话总结

本文提出贝叶斯风险CTC（BRCTC），一种新型CTC准则，通过在训练过程中引入可定制的贝叶斯风险函数，使对齐预测具有可控性。通过基于期望属性（如更早的标记输出或更短的序列长度）重新加权路径，BRCTC 实现了推理成本（最高减少47%）和延迟（降低30%）的显著降低，同时在自动语音识别（ASR）和机器翻译等离线与在线序列到序列任务中保持了转录准确性。

ABSTRACT

Sequence-to-Sequence (seq2seq) tasks transcribe the input sequence to a target sequence. The Connectionist Temporal Classification (CTC) criterion is widely used in multiple seq2seq tasks. Besides predicting the target sequence, a side product of CTC is to predict the alignment, which is the most probable input-long sequence that specifies a hard aligning relationship between the input and target units. As there are multiple potential aligning sequences (called paths) that are equally considered in CTC formulation, the choice of which path will be most probable and become the predicted alignment is always uncertain. In addition, it is usually observed that the alignment predicted by vanilla CTC will drift compared with its reference and rarely provides practical functionalities. Thus, the motivation of this work is to make the CTC alignment prediction controllable and thus equip CTC with extra functionalities. The Bayes risk CTC (BRCTC) criterion is then proposed in this work, in which a customizable Bayes risk function is adopted to enforce the desired characteristics of the predicted alignment. With the risk function, the BRCTC is a general framework to adopt some customizable preference over the paths in order to concentrate the posterior into a particular subset of the paths. In applications, we explore one particular preference which yields models with the down-sampling ability and reduced inference costs. By using BRCTC with another preference for early emissions, we obtain an improved performance-latency trade-off for online models. Experimentally, the proposed BRCTC reduces the inference cost of offline models by up to 47% without performance degradation and cuts down the overall latency of online systems to an unseen level.

研究动机与目标

• 为解决原始CTC对齐预测缺乏控制的问题，其对齐常偏离参考对齐，实用性不足。
• 通过一种合理的训练准则，实现对CTC对齐特征（如更早输出或更短序列长度）的定制化。
• 提供一种通用框架，在保持转录准确性的同时，增强离线与在线序列到序列模型的对齐可控性。
• 通过在训练期间利用路径特定的风险函数，降低实际应用中的推理成本与延迟。
• 证明BRCTC可在ASR与机器翻译任务中实现性能、延迟与计算效率之间前所未有的最优权衡。

提出的方法

• 采用分治策略重构CTC前向-后向算法，根据可定制属性（如输出时间、序列长度）对路径进行分组。
• 引入一个贝叶斯风险函数，为偏好路径组分配更高的风险值，引导模型将后验概率集中于具有期望特征的路径上。
• 通过在训练期间对所有路径求和，保留原始CTC目标，确保转录准确性不受影响。
• 在训练后应用剪枝技术，进一步缩短序列长度与降低推理成本，尤其在离线模型中效果显著。
• 使用风险因子λ平衡对齐偏好（如更早输出）与转录性能，实现在在线系统中可调节的权衡。
• 通过梯度分析与注意力可视化，验证BRCTC使输出峰值提前，并在编码器后几层实现高效的下采样。

实验结果

研究问题

• RQ1 能否使CTC对齐预测具备可控性，以在不降低转录准确性的情况下减少推理成本与延迟？
• RQ2 如何将贝叶斯风险函数整合到CTC训练中，以引导模型向更早输出或更短序列等理想路径特征靠拢？
• RQ3 BRCTC在离线模型中能将推理成本降低多少，同时保持与SOTA相当的ASR或MT性能？
• RQ4 与原始CTC相比，BRCTC能否在在线序列到序列模型中实现前所未有的延迟降低？
• RQ5 BRCTC中的注意力模式与梯度动态与原始CTC有何不同，特别是在输出时机与下采样效率方面？

主要发现

• 在LibriSpeech与Aishell-2数据集上，BRCTC将离线模型的推理成本最高降低47%，且未造成性能下降。
• 在在线ASR中，BRCTC在Aishell-2上的最小整体延迟为302ms，相比原始CTC的431ms基线降低了30%。
• 采用BRCTC的模型保持了具有竞争力的转录质量，在IWSLT14数据集上BLEU分数达到31.7（De-En）与38.0（Es-En），与原始CTC基线相当。
• BRCTC中的下采样过程主要集中在CTC层之前的最后两层编码器中，表明其具备高效的全局上下文聚合能力。
• 梯度分析显示，BRCTC在训练过程中使输出峰值提前，梯度集中于更早的时间步，证实了模型学习早期输出的能力。
• 可视化结果表明，BRCTC能生成更紧凑的表征：隐藏序列h的平均长度减少至原始长度的63%，推理成本节省27%。