[论文解读] Evaluation of HTR models without Ground Truth Material

Phillip Ströbel, Simon Clematide+4 more|arXiv (Cornell University)|Jan 17, 2022

Natural Language Processing Techniques被引用 8

一句话总结

本文提出了一种无需真实转录文本的评估指标，用于在无需人工标注转录的情况下评估和选择手写文本识别（HTR）模型。该研究引入了基于多语言 BERT 和 RoBERTa 的伪困惑度（PPPL），结果表明这些基于 Transformer 的指标与字符错误率（CER）具有强相关性，且优于传统的基于词典和统计语言模型的方法，从而在实际应用中实现了可靠的模型排序与质量估计。

ABSTRACT

The evaluation of Handwritten Text Recognition (HTR) models during their development is straightforward: because HTR is a supervised problem, the usual data split into training, validation, and test data sets allows the evaluation of models in terms of accuracy or error rates. However, the evaluation process becomes tricky as soon as we switch from development to application. A compilation of a new (and forcibly smaller) ground truth (GT) from a sample of the data that we want to apply the model on and the subsequent evaluation of models thereon only provides hints about the quality of the recognised text, as do confidence scores (if available) the models return. Moreover, if we have several models at hand, we face a model selection problem since we want to obtain the best possible result during the application phase. This calls for GT-free metrics to select the best model, which is why we (re-)introduce and compare different metrics, from simple, lexicon-based to more elaborate ones using standard language models and masked language models (MLM). We show that MLM-based evaluation can compete with lexicon-based methods, with the advantage that large and multilingual transformers are readily available, thus making compiling lexical resources for other metrics superfluous.

研究动机与目标

• 解决在真实应用场景中因缺乏真实转录或难以生成而难以评估 HTR 模型的问题。
• 识别不依赖人工标注转录的可靠、自动化的 HTR 质量估计指标。
• 比较各类无真实转录指标（基于词典、统计语言模型、掩码语言模型（MLM））在预测实际 HTR 质量方面的表现。
• 评估从多语言 BERT 和 RoBERTa 派生的伪困惑度（PPPL）作为可扩展、与语言无关的替代指标的有效性，以替代依赖词典的指标。
• 基于这些指标在多个 HTR 系统中实现模型选择，支持在数字人文和档案工作流中的部署。

提出的方法

• 通过在 HTR 输出中遮蔽标记并使用多语言 BERT 和 RoBERTa 计算困惑度，提出一种新型指标——伪困惑度（PPPL）。
• 使用标准语言模型（LM）和掩码语言模型（MLM）对 HTR 输出计算困惑度分数，将其视为潜在的语言序列。
• 引入一种标记比例指标作为简单基线，衡量在预定义词典中找到的已识别标记的比例。
• 使用字符 n-gram（2 至 7 元组）作为词汇一致性基线，比较其与 CER 的相关性。
• 应用斯皮尔曼等级相关系数评估每种指标相对于实际 CER 排名的 HTR 模型排序能力。
• 在三个数据集上验证指标：Gwalther（433 行）、Gwalther（57 行）和 Bullinger（825 行），以 CER 作为参考标准。

实验结果

研究问题

• RQ1 能否利用多语言 Transformer 计算的 PPPL 作为无真实转录时 HTR 质量的可靠代理？
• RQ2 基于词典、统计语言模型和 MLM 的指标在预测实际 HTR 错误率方面表现如何比较？
• RQ3 在多样化的古籍手写文本语料库中，无真实转录指标与基于 CER 的排序相关性有多大？
• RQ4 在低资源或多种语言环境下，PPPL 指标能否优于传统的基于词典的方法？
• RQ5 在缺乏真实转录的情况下，这些指标能否有效选出表现最佳的 HTR 模型？

主要发现

• 基于多语言 BERT 和 RoBERTa 计算的 PPPL 与 CER 显示出强相关性，在 Bullinger 和 Gwalther 数据集中 R² 值均超过 0.90。
• 标记比例指标在 Gwalther 433 上达到最高 R² 值（0.98），在 Bullinger 825 上为 0.95，证实词汇一致性是强有力的品质指标。
• 在 Bullinger 825 数据集中，PPPL 指标在 70% 的情况下实现了 Top-1 模型选择，在 Gwalther 57 数据集中为 60%，优于统计语言模型和 n-gram 基线。
• 统计语言模型的困惑度（PPL）相关性较弱（Bullinger 上 R² ≈ 0.65），表明其在 HTR 质量估计中可靠性有限。
• 基于 PPPL 的指标在性能上匹配或超过基于词典的方法，提供了一种无需语言特定词典的可扩展替代方案。
• 本研究证实，即使在拼写不规则且资源有限的历史德语（ENHG）中，PPPL 也能实现有效的模型排序与质量估计。