[论文解读] Motion-Based Handwriting Recognition

Junshen Kevin Chen, Wanze Xie+1 more|arXiv (Cornell University)|Jan 15, 2021

Hand Gesture Recognition Systems参考文献 22被引用 4

一句话总结

本文提出一种基于运动的书写识别方法，利用智能笔的惯性传感器数据进行识别，无需视觉输入或压感笔板。通过让20名用户书写小写字母，共采集10,400组偏航、俯仰、滚转和加速度数据，作者采用数据增强、基于自编码器的去噪方法，并训练KNN、SVM、CNN和RNN分类器，随机划分设置下准确率达到86.6%，用户划分设置下准确率为53.6%，其中RNN结合数据增强与去噪方法表现最佳。

ABSTRACT

We attempt to overcome the restriction of requiring a writing surface for handwriting recognition. In this study, we design a prototype of a stylus equipped with motion sensor, and utilizes gyroscopic and acceleration sensor reading to perform written letter classification using various deep learning techniques such as CNN and RNNs. We also explore various data augmentation techniques and their effects, reaching up to 86% accuracy.

研究动机与目标

• 为解决在VR/AR或仅使用笔的环境中，无需视觉输入或压感笔板时对手写字符识别的挑战。
• 定义并解决一个新问题：仅使用智能笔的运动传感器数据（偏航、俯仰、滚转、加速度）对书写字母进行分类。
• 使用自研硬件系统，从20名用户处采集10,400组多样化的手写小写字母序列，构建全新数据集。
• 开发一个集成特征插值、数据增强、基于自编码器的去噪方法及多种分类器的稳健处理流程，实现基于运动的识别。
• 评估模型在不同用户间的泛化能力，尤其关注用户划分设置下（训练与测试用户互不重叠）的表现。

提出的方法

• 使用MPU9250九轴IMU、Arduino Uno及3D打印笔夹具构建自定义硬件系统，实时采集书写过程中的运动数据。
• 从20名不同用户处各采集20组小写字母的书写序列，共获得10,400组序列，包含时间戳对齐的偏航、俯仰、滚转和加速度值。
• 应用特征插值对齐长度不一的序列，通过数据增强提升训练多样性，并利用去噪自编码器降低传感器噪声。
• 在预处理后的运动序列上训练四种分类器（KNN、SVM、CNN、RNN），以预测所写字符。
• 在两种设置下评估模型：随机划分（所有用户混合）与用户划分（训练与测试用户互不重叠），并进行关于增强与去噪的消融实验。
• 使用混淆矩阵与性能追踪分析模型行为，尤其关注过拟合现象及在不同书写风格间的泛化能力。

实验结果

研究问题

• RQ1 是否可以仅使用笔端运动传感器数据（无需视觉输入或压感笔板）有效实现手写识别？
• RQ2 通过自编码器进行数据增强与去噪，在基于运动的手写识别中如何影响模型的泛化能力？
• RQ3 不同分类器（KNN、SVM、CNN、RNN）在不同书写风格用户间泛化能力的差异程度如何？
• RQ4 数据划分方式（随机划分 vs. 用户划分）是否显著影响模型性能？原因是什么？
• RQ5 主要性能限制因素是什么？例如传感器数据的区分度不足或用户间书写差异过大？

主要发现

• 表现最佳的模型为结合数据增强与去噪自编码器的RNN，在随机划分实验中达到86.6%的准确率。
• 在用户划分评估中，最佳模型准确率为53.6%，表明在不同书写习惯间存在显著泛化挑战。
• 数据增强显著提升了所有模型的测试准确率，尤其在用户划分设置下，有效缓解了过拟合。
• 通过自编码器去噪使各类模型的测试准确率提升0.6–1.0个百分点，证实传感器噪声会阻碍学习过程。
• SVM与KNN在用户划分设置下泛化能力差，KNN准确率仅12.8%，凸显非时序模型的局限性。
• 所有模型在用户划分实验中均表现出严重过拟合，表明书写风格差异是泛化的主要障碍。