[论文解读] Gram-CTC: Automatic Unit Selection and Target Decomposition for Sequence Labelling

Hairong Liu, Zhenyao Zhu+2 more|arXiv (Cornell University)|Mar 1, 2017

Speech Recognition and Synthesis参考文献 22被引用 25

一句话总结

Gram-CTC 提出了一种新颖的损失函数，可自动学习最优的基本单元（gram），并在序列标注过程中动态分解目标序列，将 CTC 扩展为支持每时间步可变长度输出。该方法在准确率和效率方面均有所提升，在多个自动语音识别（ASR）基准测试中取得最先进结果，包括在 Switchboard 数据集上达到 7.3% 的 WER，以及在 10K 小时噪声数据集上达到 25.59% 的 WER，优于原始 CTC 和先前方法。

ABSTRACT

Most existing sequence labelling models rely on a fixed decomposition of a target sequence into a sequence of basic units. These methods suffer from two major drawbacks: 1) the set of basic units is fixed, such as the set of words, characters or phonemes in speech recognition, and 2) the decomposition of target sequences is fixed. These drawbacks usually result in sub-optimal performance of modeling sequences. In this pa- per, we extend the popular CTC loss criterion to alleviate these limitations, and propose a new loss function called Gram-CTC. While preserving the advantages of CTC, Gram-CTC automatically learns the best set of basic units (grams), as well as the most suitable decomposition of tar- get sequences. Unlike CTC, Gram-CTC allows the model to output variable number of characters at each time step, which enables the model to capture longer term dependency and improves the computational efficiency. We demonstrate that the proposed Gram-CTC improves CTC in terms of both performance and efficiency on the large vocabulary speech recognition task at multiple scales of data, and that with Gram-CTC we can outperform the state-of-the-art on a standard speech benchmark.

研究动机与目标

• 解决固定基本单元（如字符、词、音素）和固定序列分解在序列标注模型中的局限性。
• 消除对手动设计单元的依赖，使模型能够从训练数据中学习最优 gram。
• 通过支持每时间步可变长度输出，提升建模效率与性能，捕捉更长的长期依赖关系。
• 提供一种即插即用的损失函数，兼容现有 seq2seq 架构，无需修改网络结构。
• 证明通过 Gram-CTC 实现的自动 gram 发现过程可避免退化解，且无需依赖最小描述长度等先验约束。

提出的方法

• Gram-CTC 通过引入可微、可学习的变量长度 gram 分解方式，扩展了 CTC，取代了固定单元。
• 模型在训练过程中学习一组 gram，每个 gram 是字符或音素的子序列，且每条输入的分解方式动态确定。
• Gram-CTC 使用对齐过程的可微松弛，使梯度能够反向传播至 gram 的选择及其在目标序列中的位置。
• 损失函数对所有可能的输入序列与可变长度 gram 序列之间的对齐进行聚合，类似于 CTC，但使用学习得到的 gram 替代固定单元。
• 采用交叉熵与 Gram-CTC 损失联合训练策略，以稳定训练过程并提升性能。
• 该方法支持更大的推理步长（如 4，而 CTC 为 2），在不损失准确率的前提下显著提升计算效率。

实验结果

研究问题

• RQ1 序列标注模型能否从训练数据中自动学习最优的基本单元（gram），而非依赖人工设计的单元？
• RQ2 允许每时间步输出可变长度是否能改善对长程依赖关系与序列结构的建模？
• RQ3 Gram-CTC 是否能在多种数据规模下，同时优于标准 CTC 的准确率与推理效率？
• RQ4 自动 gram 发现过程是否能在无需显式正则化或先验约束的情况下避免退化解？
• RQ5 Gram-CTC 是否能有效应用于大规模词汇量、噪声环境下的语音识别任务，且仅需极少架构修改？

主要发现

• Gram-CTC 在 Switchboard 基准测试中实现 7.3% 的 WER，优于原始 CTC（9.0%）和先前最先进方法。
• 在 10,000 小时噪声语音数据集上，Gram-CTC 将 WER 从原始 CTC 的 29.1% 降低至 27.56%（无语言模型），通过联合训练进一步降至 25.59%。
• 采用 Gram-CTC 的模型支持更大的推理步长（4，而 CTC 为 2），显著提升计算效率。
• 与交叉熵损失联合训练可使 WER 降低 1.97 个百分点（从 27.56% 降至 25.59%），且额外训练成本极低。
• Gram-CTC 在单元发现过程中隐式避免了退化解，即使未使用贝叶斯先验或最小描述长度约束。
• Gram-CTC 的成功归因于学习到一组高频、短长度（最多 5 个字符）的 gram，能有效捕捉有意义的子词单元。