[论文解读] DropSample: A New Training Method to Enhance Deep Convolutional Neural Networks for Large-Scale Unconstrained Handwritten Chinese Character Recognition

Weixin Yang, Lianwen Jin+3 more|arXiv (Cornell University)|May 20, 2015

Handwritten Text Recognition Techniques参考文献 57被引用 4

一句话总结

本文提出了一种名为 DropSample 的新型深度卷积神经网络（DCNN）训练方法，该方法根据分类置信度动态重加权训练样本——优先处理低置信度样本以提升学习效率。该方法应用于大规模无约束手写中文字符识别任务，在 CASIA-OLHDWB 1.0、CASIA-OLHWDB 1.1 和 ICDAR 2013 数据集上分别取得了 97.33%、97.06% 和 97.51% 的最先进准确率。

ABSTRACT

Inspired by the theory of Leitners learning box from the field of psychology, we propose DropSample, a new method for training deep convolutional neural networks (DCNNs), and apply it to large-scale online handwritten Chinese character recognition (HCCR). According to the principle of DropSample, each training sample is associated with a quota function that is dynamically adjusted on the basis of the classification confidence given by the DCNN softmax output. After a learning iteration, samples with low confidence will have a higher probability of being selected as training data in the next iteration; in contrast, well-trained and well-recognized samples with very high confidence will have a lower probability of being involved in the next training iteration and can be gradually eliminated. As a result, the learning process becomes more efficient as it progresses. Furthermore, we investigate the use of domain-specific knowledge to enhance the performance of DCNN by adding a domain knowledge layer before the traditional CNN. By adopting DropSample together with different types of domain-specific knowledge, the accuracy of HCCR can be improved efficiently. Experiments on the CASIA-OLHDWB 1.0, CASIA-OLHWDB 1.1, and ICDAR 2013 online HCCR competition datasets yield outstanding recognition rates of 97.33%, 97.06%, and 97.51% respectively, all of which are significantly better than the previous best results reported in the literature.

研究动机与目标

• 提升深度卷积神经网络在大规模无约束手写中文字符识别（HCCR）任务中的效率与准确率。
• 解决由于对已充分识别样本重复训练而导致的 DCNN 学习效率低下问题。
• 开发一种动态采样策略，自适应地将训练重点集中于困难的低置信度样本。
• 将领域特定知识整合到 CNN 架构中，以进一步提升识别性能。

提出的方法

• DropSample 为每个训练样本引入一个配额函数，该函数根据每次学习迭代后 DCNN 的 softmax 置信度输出动态调整。
• 低分类置信度的样本在后续训练迭代中被赋予更高的选择概率，从而增强其学习影响。
• 对已正确分类的高置信度样本则逐步降低优先级并从训练中移除，以减少冗余并提升效率。
• 在传统 CNN 之前插入一个领域知识层，以向网络注入任务特定的不变性与结构先验。
• 该方法结合动态采样与架构归纳偏置，以增强特征学习与泛化能力。
• 通过迭代聚焦于难样本，训练过程逐步优化模型容量，其原理类似于认知心理学中的 Leitner 学习盒原则。

实验结果

研究问题

• RQ1 基于模型置信度对训练样本进行动态重加权，能否提升 DCNN 在 HCCR 任务中的收敛速度与准确率？
• RQ2 优先处理低置信度样本对学习效率与最终识别性能有何影响？
• RQ3 在无约束手写中文字符识别任务中，领域特定知识能在多大程度上提升 DCNN 性能？
• RQ4 与标准训练协议相比，动态采样与架构归纳偏置的结合是否能取得更优结果？

主要发现

• DropSample 在 CASIA-OLHDWB 1.0 数据集上实现了 97.33% 的识别准确率，超越了以往最先进结果。
• 在 CASIA-OLHWDB 1.1 数据集上，该方法达到 97.06% 的准确率，展现出在不同数据分布下的鲁棒性。
• 在 ICDAR 2013 在线 HCCR 基准测试中，实现了 97.51% 的识别率，创下新的最先进性能记录。
• 将领域特定知识与 DropSample 结合，显著提升了模型的泛化能力与收敛速度。
• 动态采样机制通过降低高置信度样本的优先级，减少了训练冗余，从而实现更快、更高效的训练。
• 该方法在三个多样化且大规模的 HCCR 基准测试中均得到验证，证实了其良好的泛化能力。