[论文解读] Handwritten Chinese Character Recognition by Convolutional Neural Network and Similarity Ranking
本文提出了一种新颖的损失函数，结合交叉熵与平均方差相似性排序，以提升使用卷积神经网络（CNNs）的手写中文字符识别（HCCR）性能。通过用保留类别间关系的混合损失替代标准SoftMax交叉熵损失，该方法在准确率上优于基线模型，其中采用平均方差相似性排序的模型表现最佳。
Convolution Neural Networks (CNN) have recently achieved state-of-the art performance on handwritten Chinese character recognition (HCCR). However, most of CNN models employ the SoftMax activation function and minimize cross entropy loss, which may cause loss of inter-class information. To cope with this problem, we propose to combine cross entropy with similarity ranking function and use it as loss function. The experiments results show that the combination loss functions produce higher accuracy in HCCR. This report briefly reviews cross entropy loss function, a typical similarity ranking function: Euclidean distance, and also propose a new similarity ranking function: Average variance similarity. Experiments are done to compare the performances of a CNN model with three different loss functions. In the end, SoftMax cross entropy with Average variance similarity produce the highest accuracy on handwritten Chinese characters recognition.
研究动机与目标
- 解决SoftMax交叉熵损失在手写中文字符识别中难以捕捉类别间关系的局限性。
- 探索将相似性排序函数与交叉熵损失结合，以增强CNN中的特征判别能力。
- 在手写中文字符识别背景下，评估并比较多种损失函数，包括欧氏距离与所提出的平均方差相似性。
- 证明将交叉熵与新颖的相似性排序函数结合可获得更高的识别准确率。
提出的方法
- 提出一种混合损失函数，将标准交叉熵损失与相似性排序函数结合，以保留类别间信息。
- 引入一种名为平均方差相似性的新型相似性排序函数，旨在度量特征紧凑性与类别间分离度。
- 采用CNN架构从手写中文字符中提取特征，随后使用所提出的损失函数进行分类。
- 以欧氏距离作为基线相似性排序函数用于对比。
- 使用组合损失训练模型，以同时优化分类准确率与类别间边界。
- 使用Top-1准确率作为主要指标，在标准HCCR基准上评估模型性能。
实验结果
研究问题
- RQ1将交叉熵损失与相似性排序函数结合是否能提升手写中文字符识别中的泛化能力？
- RQ2所提出的平均方差相似性函数在混合损失设置下与欧氏距离相比，是否在增强特征判别能力方面表现更优？
- RQ3与标准SoftMax交叉熵损失相比，混合损失函数是否能带来更高的识别准确率？
- RQ4在HCCR中，保留类别间信息对模型性能的相对贡献如何？
主要发现
- 在HCCR基准上，交叉熵与平均方差相似性排序损失的结合实现了最高的识别准确率。
- 在混合损失设置下，所提出的平均方差相似性函数作为相似性排序函数优于欧氏距离。
- 使用混合损失函数的模型相比仅使用SoftMax交叉熵的模型，表现出更优的类别间分离能力。
- 结果表明，通过相似性排序保留类别间关系可显著提升HCCR中模型的泛化能力。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。