[论文解读] Improving Accuracy and Explainability of Online Handwriting Recognition

Hilda Azimi, Steven Chang+2 more|arXiv (Cornell University)|Sep 14, 2022

Handwritten Text Recognition Techniques被引用 5

一句话总结

本论文通过优化机器学习（ML）与深度学习（DL）模型，在OnHW-chars数据集上提升了在线手写识别的准确率，相较于先前的ML模型最高提升23.56%，相较于先前的DL模型提升7.01%。通过基于注意力的解释方法增强了模型可解释性，并通过证明不同模型关注不同的信号特征，展示了互补的失败模式，从而提升了模型鲁棒性。

ABSTRACT

Handwriting recognition technology allows recognizing a written text from a given data. The recognition task can target letters, symbols, or words, and the input data can be a digital image or recorded by various sensors. A wide range of applications from signature verification to electronic document processing can be realized by implementing efficient and accurate handwriting recognition algorithms. Over the years, there has been an increasing interest in experimenting with different types of technology to collect handwriting data, create datasets, and develop algorithms to recognize characters and symbols. More recently, the OnHW-chars dataset has been published that contains multivariate time series data of the English alphabet collected using a ballpoint pen fitted with sensors. The authors of OnHW-chars also provided some baseline results through their machine learning (ML) and deep learning (DL) classifiers. In this paper, we develop handwriting recognition models on the OnHW-chars dataset and improve the accuracy of previous models. More specifically, our ML models provide $11.3\%$-$23.56\%$ improvements over the previous ML models, and our optimized DL models with ensemble learning provide $3.08\%$-$7.01\%$ improvements over the previous DL models. In addition to our accuracy improvements over the spectrum, we aim to provide some level of explainability for our models to provide more logic behind chosen methods and why the models make sense for the data type in the dataset. Our results are verifiable and reproducible via the provided public repository.

研究动机与目标

• 提升OnHW-chars数据集上在线手写识别模型的最先进准确率。
• 通过基于注意力的解释方法分析特征重要性，实现模型可解释性。
• 通过不同模型间的互补失败模式与注意力图，证明并验证集成学习的有效性。
• 通过在公共代码仓库中发布所有代码与训练好的模型，确保结果可复现。

提出的方法

• 基于OnHW-chars数据集的多变量时间序列数据，通过特征工程与超参数调优，训练并优化了多种ML模型（如SVM、随机森林、XGBoost）。
• 开发并微调了具备注意力机制的深度学习架构（LSTM、InceptionTime、XceptionTime），以提升时间建模与预测准确率。
• 应用基于梯度的显著性方法，生成注意力图，以突出显示对模型预测贡献最大的传感器通道与时间步。
• 通过组合16种多样化模型的预测结果，采用集成学习方法，利用其互补的失败模式与注意力分布，提升整体准确率。
• 在30组划分（5折 × 6个数据集）中进行独立于作者的评估与依赖于作者的评估，以确保模型的鲁棒性与泛化能力。
• 通过可视化正确与错误预测的注意力图，对比不同架构模型的行为，验证模型性能与可解释性。

实验结果

研究问题

• RQ1 优化后的ML与DL模型是否能在OnHW-chars数据集上实现高于先前最先进模型的准确率？
• RQ2 基于注意力的解释方法在多大程度上能够揭示在线手写识别中模型预测的依据？
• RQ3 不同的深度学习模型是否关注多变量时间序列的不同部分，表明其具有互补的预测优势？
• RQ4 集成学习是否能有效结合多样化模型以提升整体识别准确率？其有效性是否由不同模型的失败模式与注意力分布差异所支持？

主要发现

• 所提出的ML模型相较于[27]中报告的基线模型，准确率提升了11.3%至23.56%。
• 通过集成学习组合优化后的DL模型，相较于[26]中报告的先前最先进DL模型，准确率提升了3.08%至7.01%。
• 基于注意力的解释方法显示，不同模型对不同的传感器通道与时间片段赋予不同重要性，表明其行为具有互补性。
• 对正确与错误预测的可视化分析表明，InceptionTime与XceptionTime等模型犯了不同的错误，其在通道与时间步上的注意力模式各不相同。
• 16个模型的集成展现出更高的鲁棒性，因失败案例分散于不同模型中，支持了集成学习的有效性。
• 所有结果均可复现，并通过专用代码仓库公开，确保了透明性与可验证性。