[论文解读] An Unsupervised method for OCR Post-Correction and Spelling Normalisation for Finnish

Quan Duong, Mika Hämäläinen+1 more|arXiv (Cornell University)|Nov 6, 2020

Natural Language Processing Techniques参考文献 37被引用 12

一句话总结

本文提出了一种完全无监督的字符级神经机器翻译（NMT）方法，用于芬兰语的OCR后校正与拼写规范化，利用自监督错误生成器和上下文感知的Transformer模型。该方法在低质量文本上相较基线OCR模型实现了最高达3.92%的绝对准确率提升，在无需人工标注的情况下有效纠正了形态复杂的古芬兰语文本。

ABSTRACT

Historical corpora are known to contain errors introduced by OCR (optical character recognition) methods used in the digitization process, often said to be degrading the performance of NLP systems. Correcting these errors manually is a time-consuming process and a great part of the automatic approaches have been relying on rules or supervised machine learning. We build on previous work on fully automatic unsupervised extraction of parallel data to train a character-based sequence-to-sequence NMT (neural machine translation) model to conduct OCR error correction designed for English, and adapt it to Finnish by proposing solutions that take the rich morphology of the language into account. Our new method shows increased performance while remaining fully unsupervised, with the added benefit of spelling normalisation. The source code and models are available on GitHub and Zenodo.

研究动机与目标

• 解决历史芬兰语文本语料库中因OCR质量低下、形态复杂且缺乏标注数据而阻碍自然语言处理应用的挑战。
• 开发一种完全无监督的方法，无需依赖人工标注的平行数据即可校正OCR错误并规范化拼写。
• 通过引入形态意识和上下文信息，将字符级NMT适配于芬兰语。
• 在具有不同错误率的真实OCR输出上评估该方法，包括低质量文本和历史数字化文本。
• 使该方法可推广至其他乌拉尔语系及低资源、形态复杂的语言。

提出的方法

• 自监督错误生成器利用形态学有限状态转导器（FST）在干净的芬兰语文本中引入合成OCR错误，从而生成人工平行数据。
• 模型采用字符级序列到序列的Transformer架构，学习将噪声OCR文本映射为干净文本，通过上下文窗口机制提升局部上下文理解能力。
• 评估了两种配置：一种为随机错误注入（Rand），另一种为基于训练集学习到的错误模式（Train），上下文窗口大小分别为1、3和5。
• 该方法利用现有的芬兰语形态学FST和干净词汇表，在后处理阶段验证单词正确性并过滤非词。
• 模型在合成平行数据上端到端训练，并在目标OCR分布上进行微调，以提升泛化能力。
• 评估使用标准参考测试集，测量在三种OCR输出上的准确率、错误校正率和误校正率：Tesseract（高质量）、OLD（低质量）和FR11（极低质量）。

实验结果

研究问题

• RQ1 完全无监督的方法是否能在无需任何人工标注数据的情况下，显著提升芬兰语OCR后校正的性能？
• RQ2 在字符级NMT的OCR校正中，引入形态学知识和上下文窗口机制如何影响模型性能？
• RQ3 与NATAS等现有无监督基线相比，使用自监督错误生成器是否在纠正形态丰富的语言时更具优势？
• RQ4 该模型在低质量OCR输出中纠正错误的能力有多强，同时又能将对已正确OCR文本的误改率控制在多低水平？
• RQ5 该方法是否可推广至其他乌拉尔语系及低资源、形态复杂的语言？

主要发现

• TFTrainW5模型在OLD OCR设置下实现了最高的准确率提升（从75.25%提升至79.17%），绝对提升3.92%，优于所有其他配置。
• 在FR11 OCR设置下（准确率为79%），TFTrainW3模型将准确率提升了3.71%，校正了45.17%的错误词，同时仅对6.7%的正确词造成误改。
• TFTrainW5模型在OLD设置下校正了38.04%的错误词，并在正确OCR的词汇上保持了93.30%的准确率，展现出强大的鲁棒性。
• 该模型在低质量输入上显著优于Tesseract OCR基线，但在高质量Tesseract输出上未超越基线，因错误引入多于校正。
• 使用训练得到的错误生成器（Train）始终优于随机错误注入（Rand），且更大的上下文窗口（W3、W5）优于W1。
• 该方法在低质量数据上相较基线OCR实现了10–12%的绝对准确率提升，证明了其在真实世界后校正场景中的强大有效性。