[论文解读] Inkorrect: Online Handwriting Spelling Correction

Andrii Maksai, Henry A. Rowley+2 more|arXiv (Cornell University)|Feb 28, 2022

Handwritten Text Recognition Techniques被引用 4

一句话总结

Inkorrect 提出了一种数据高效且标签高效的在线手写拼写纠错（DISC）方法，无需依赖同一写作者的多份样本或字符级分割。通过引入新的自动评估指标——CDE（用于相似性）和 CER/WER（用于可识别性），该方法在相似性与可识别性之间实现了更优的权衡，性能优于以往工作，达到了占据主导地位的帕累托前沿。

ABSTRACT

We introduce Inkorrect, a data- and label-efficient approach for online handwriting (Digital Ink) spelling correction - DISC. Unlike previous work, the proposed method does not require multiple samples from the same writer, or access to character level segmentation. We show that existing automatic evaluation metrics do not fully capture and are not correlated with the human perception of the quality of the spelling correction, and propose new ones that correlate with human perception. We additionally surface an interesting phenomenon: a trade-off between the similarity and recognizability of the spell-corrected inks. We further create a family of models corresponding to different points on the Pareto frontier between those two axes. We show that Inkorrect's Pareto frontier dominates the points that correspond to prior work.

研究动机与目标

• 解决传统数字笔迹拼写纠错（DISC）中缺乏可扩展且保护隐私的数据收集方法的问题，该方法通常需要同一写作者的多份样本或字符分割。
• 克服现有评估指标与人类对拼写纠错质量感知相关性不足的局限性。
• 提出一种新的相似性与可识别性之间的权衡框架，实现对纠错质量的细粒度控制。
• 开发一种无需分割、无配对数据的方法，在保留写作者风格的同时生成准确且可识别的纠错结果，且不依赖外部分割系统。
• 证明所提出方法在自动指标和人类评估中均优于最先进方法，其帕累托前沿在相似性与可识别性之间全面优于先前工作。

提出的方法

• 提出一种新型的条件生成模型，以原始笔迹和目标拼写纠正标签为条件，利用风格编码器提取写作者特异性特征，而无需依赖同一写作者的多份样本。
• 在风格表征层引入掩码机制，以控制相似性（CDE）与可识别性（CER/WER）之间的权衡，实现在推理过程中动态调整纠错保真度。
• 采用特征级掩码策略，选择性地屏蔽风格向量的特定部分，从而实现对保留原始笔迹信息程度与由纠正标签取代程度的细粒度控制。
• 在无配对数据上进行模型训练——即不包含写作者ID或对齐信息的原始笔迹与纠正标签对，从而实现可扩展性与隐私保护。
• 设计一种新的相似性度量指标 CDE（字符距离误差），考虑原始词与纠正词之间笔迹结构的预期差异，提升与人类感知的相关性。
• 通过调整掩码比例与风格维度，构建一系列模型，实现对相似性-可识别性权衡的探索，并可选择帕累托前沿上的最优点。

实验结果

研究问题

• RQ1 一种数据高效、无需分割的方法能否在不依赖同一写作者多份样本的情况下实现高质量的数字笔迹拼写纠错？
• RQ2 现有自动评估指标（如 CER 和 WER）是否能完全捕捉人类对纠错质量的感知，还是需要引入新指标？
• RQ3 在手写拼写纠错中，原始笔迹相似性与纠正后词语可识别性之间是否存在可测量的权衡？
• RQ4 对风格表征层的细粒度控制是否能实现 DISC 中相似性与可识别性之间的可控权衡？
• RQ5 所提出方法是否在自动指标与人类评估中均优于最先进方法，特别是在相似性与可识别性之间的平衡方面？

主要发现

• 所提出的 CDE 指标与人类对相似性的感知具有强相关性，优于传统指标（如 CER 和 WER），在捕捉纠错质量方面表现更优。
• Inkorrect 实现了占据主导地位的帕累托前沿：在相似性水平 sim=0.8 时，其在 CDE、CER 和 WER 所有指标上均优于 Deepwriting (DW)，且在相似性与可识别性之间保持更优平衡。
• 当风格维度为 50 时，模型在 CDE（4.5）和 CER（8.6）两项指标上均优于 DW，且在 CDE 和 CER 上也优于风格维度为 10 和 250 的模型。
• 特征掩码（掩码风格向量的特定维度）的效果优于时间步掩码（跳过输入序列的某些部分），CDE 和 CER 分别为 4.5 和 8.6，而随机时间步跳过对应的值为 4.7 和 8.0。
• 完全不使用掩码方案时，泛化性能差，CDE=4.3，CER=12.9，表明掩码机制在平衡相似性与可识别性方面至关重要。
• 人类评估结果确认，风格维度为 50 的 Inkorrect 模型在相似性与可识别性方面均优于 DW，验证了新指标与训练方法的有效性。