[论文解读] CTCModel: a Keras Model for Connectionist Temporal Classification

Yann Soullard, Cyprien Ruffino+1 more|arXiv (Cornell University)|Jan 23, 2019

Time Series Analysis and Forecasting参考文献 11被引用 8

一句话总结

本论文提出 CTCModel，一个与 Keras 兼容的模型扩展，支持在序列建模任务中使用连接时序分类（CTC）进行端到端训练与推理。它通过三个专用的 Keras 模型（用于训练、预测和评估）将 TensorFlow 的 CTC 实现集成到 Keras 中，在无语言模型的情况下于 RIMES 法语手写数据集上实现了 7.6% 的字符错误率（CER）。

ABSTRACT

We report an extension of a Keras Model, called CTCModel, to perform the Connectionist Temporal Classification (CTC) in a transparent way. Combined with Recurrent Neural Networks, the Connectionist Temporal Classification is the reference method for dealing with unsegmented input sequences, i.e. with data that are a couple of observation and label sequences where each label is related to a subset of observation frames. CTCModel makes use of the CTC implementation in the Tensorflow backend for training and predicting sequences of labels using Keras. It consists of three branches made of Keras models: one for training, computing the CTC loss function; one for predicting, providing sequences of labels; and one for evaluating that returns standard metrics for analyzing sequences of predictions.

研究动机与目标

• 解决 Keras 在可变长度序列建模中缺乏原生 CTC 损失支持的问题。
• 实现对未分割序列数据（如语音和手写）的 RNN 无缝训练与推理。
• 提供统一的、原生 Keras 接口，用于 CTC 训练、预测与评估，并支持标准指标。
• 克服 Keras 在处理需要序列长度作为额外参数的 CTC 损失函数时的局限性。
• 在功能型 Keras API 中利用 TensorFlow 的 CTC 后端，实现高效训练与解码。

提出的方法

• 扩展 Keras Model 类以创建 CTCModel，其封装了三个独立的 Keras 模型：一个用于带 CTC 损失的训练，一个用于带 CTC 解码的预测，一个用于带标准指标的评估。
• 使用 TensorFlow 内置的 CTC 实现，高效计算 CTC 损失与解码，利用前向-后向算法进行动态规划。
• 通过要求输入张量包含观测序列、标签序列及其各自长度作为额外输入，处理可变长度序列。
• 采用标准 RNN 架构，包含双向 LSTM 层和一个带有额外空白标签单元的 Softmax 输出层，以支持 CTC 解码。
• 通过滑动窗口处理输入图像，将输入转换为固定大小的序列输入，支持循环神经网络与卷积-循环神经网络架构。
• 使用标准 Keras 方法（fit、evaluate、predict）进行训练与评估，输入结构经调整以包含长度信息与虚拟标签。

实验结果

研究问题

• RQ1 尽管 CTC 损失需要序列长度参数，如何有效将其集成到 Keras 框架中？
• RQ2 能否设计一个统一的 Keras 模型接口，以支持基于 CTC 的序列建模的训练、预测与评估？
• RQ3 在无语言模型的情况下，CTCModel 在真实世界手写文本识别任务中可实现多大性能提升？
• RQ4 CTCModel 架构在不同 RNN 与 CNN-RNN 配置下，对可变长度序列数据的可扩展性如何？
• RQ5 与原始 TensorFlow CTC 实现相比，CTCModel 在多大程度上简化了端到端序列建模的实现？

主要发现

• 使用 100 个单元的双向 RNN 进行 CTC 训练，CTCModel 在 RIMES 测试集上实现了 12.2% 的字符错误率（CER）。
• 200 个单元的双向 RNN 模型将测试 CER 降低至 10.6%，表明模型容量增加可提升性能。
• 卷积-RNN 架构（conv8 RNN）实现了最低的测试 CER 7.6%，表明通过卷积进行特征提取可提升序列建模效果。
• 在前两个卷积层使用 32 个滤波器、最终层增至 256 个滤波器的模型，在 RIMES 数据集上训练 CER 仅为 0.1%。
• CTCModel 框架成功实现了使用标准 Keras 方法的端到端训练与推理，包括标签错误率与序列错误率等评估指标。
• 该框架支持纯 RNN 与混合 CNN-RNN 架构，展现出在不同序列建模任务中的灵活性。