[论文解读] Learn to Augment: Joint Data Augmentation and Network Optimization for Text Recognition

Canjie Luo, Yuanzhi Zhu+2 more|arXiv (Cornell University)|Mar 14, 2020

Handwritten Text Recognition Techniques参考文献 46被引用 8

一句话总结

本文提出了一种可学习的、由智能体驱动的文本识别数据增强方法，联合优化增强与识别网络。通过学习操控控制点以生成困难且多样化的训练样本，该方法显著提升了识别准确率，尤其在小样本数据集上表现突出，在IAM手写文本数据集上，词错误率降低最高达5.08%，优于最先进基线方法。

ABSTRACT

Handwritten text and scene text suffer from various shapes and distorted patterns. Thus training a robust recognition model requires a large amount of data to cover diversity as much as possible. In contrast to data collection and annotation, data augmentation is a low cost way. In this paper, we propose a new method for text image augmentation. Different from traditional augmentation methods such as rotation, scaling and perspective transformation, our proposed augmentation method is designed to learn proper and efficient data augmentation which is more effective and specific for training a robust recognizer. By using a set of custom fiducial points, the proposed augmentation method is flexible and controllable. Furthermore, we bridge the gap between the isolated processes of data augmentation and network optimization by joint learning. An agent network learns from the output of the recognition network and controls the fiducial points to generate more proper training samples for the recognition network. Extensive experiments on various benchmarks, including regular scene text, irregular scene text and handwritten text, show that the proposed augmentation and the joint learning methods significantly boost the performance of the recognition networks. A general toolkit for geometric augmentation is available.

研究动机与目标

• 为解决文本识别中训练数据有限且缺乏多样性的挑战，特别是针对风格变化大、不规则的场景文本和手写文本。
• 克服传统几何增强方法（如旋转、缩放）的低效性，这些方法将整个文本串视为单一整体，无法建模字符级别的多样性。
• 通过端到端联合优化增强与识别过程，弥合孤立数据增强与网络训练之间的鸿沟。
• 开发一种元框架，可自动适应不同文本识别任务，无需人工重新配置。

提出的方法

• 在每张文本图像上初始化一组可学习的控制点，以实现细粒度的、基于字符的空域变换。
• 智能体网络根据识别网络性能的反馈（通过编辑距离衡量）预测控制点的移动状态。
• 图像生成通过移动最小二乘法实现相似变换，根据控制点的移动对图像进行形变。
• 增强过程结合了学习到的（智能体驱动）和随机扰动，以保持多样性与探索性。
• 整个系统可端到端训练，智能体学习生成越来越具挑战性的样本，从而提升识别鲁棒性。
• 该方法被集成到基于CTC的识别网络中，并与识别损失联合优化。

实验结果

研究问题

• RQ1 一种可根据识别难度自适应的可学习增强策略，是否能超越静态或随机增强，在文本识别性能上实现进一步提升？
• RQ2 基于智能体的控制点操控在生成多样化、困难的序列型字符识别训练样本方面有多有效？
• RQ3 增强与识别的联合优化是否能带来更好的泛化能力，尤其是在小样本或类别不平衡的数据集上？
• RQ4 所提出的方法是否能在不同文本识别任务上实现泛化，包括不规则场景文本和手写文本？
• RQ5 与先前的智能增强技术（如AFDM）相比，该方法在性能和适应性方面表现如何？

主要发现

• 在IAM手写文本基准上，该方法在无约束设置下将词错误率降低了5.08%（从19.12%降至14.04%），优于基线和最先进方法。
• 在RIMES数据集上，该方法在无约束设置下实现了4.42%的词错误率降低（从13.83%降至9.23%），展现出在噪声大、图像质量差的数据上的强鲁棒性。
• 在CT80场景文本基准上，联合学习框架实现了4.5%的准确率提升，表明其在规则与不规则场景文本上的有效性。
• 当与AFDM模块结合使用时，该方法在IAM数据集上实现了13.35%的词错误率（无约束），超越所有先前方法，创下新的最先进水平。
• 该方法是一种元框架：可无缝集成其他增强模块（如AFDM），在联合使用时进一步提升性能。