[論文レビュー] Evaluation of HTR models without Ground Truth Material

Phillip Ströbel, Simon Clematide+4 more|arXiv (Cornell University)|Jan 17, 2022

Natural Language Processing Techniques被引用数 8

ひとこと要約

この論文は、人間によるトランスクリプションを必要とせずに、手書き文字認識（HTR）モデルの評価と選定が可能な、グランドトゥルースフリーなメトリクスを提案する。多言語 BERT および RoBERTa を用いた疑似パーセプレキシティ（PPPL）を導入し、これらのトランスフォーマー基盤メトリクスが文字誤り率（CER）と強く相関することを示し、従来の語彙ベースおよび統計的言語モデル手法を上回ることを確認した。これにより、実世界の応用における信頼性の高いモデルランク付けと品質推定が可能になる。

ABSTRACT

The evaluation of Handwritten Text Recognition (HTR) models during their development is straightforward: because HTR is a supervised problem, the usual data split into training, validation, and test data sets allows the evaluation of models in terms of accuracy or error rates. However, the evaluation process becomes tricky as soon as we switch from development to application. A compilation of a new (and forcibly smaller) ground truth (GT) from a sample of the data that we want to apply the model on and the subsequent evaluation of models thereon only provides hints about the quality of the recognised text, as do confidence scores (if available) the models return. Moreover, if we have several models at hand, we face a model selection problem since we want to obtain the best possible result during the application phase. This calls for GT-free metrics to select the best model, which is why we (re-)introduce and compare different metrics, from simple, lexicon-based to more elaborate ones using standard language models and masked language models (MLM). We show that MLM-based evaluation can compete with lexicon-based methods, with the advantage that large and multilingual transformers are readily available, thus making compiling lexical resources for other metrics superfluous.

研究の動機と目的

• グランドトゥルースが入手不可能または実用的でない実世界の応用において、HTRモデルを評価する課題に対処すること。
• 人間によるトランスクリプションに依存しない、自動化されたHTR品質推定のための信頼性の高いメトリクスを同定すること。
• 語彙ベース、統計的言語モデル、およびマスキング言語モデル（MLM）のさまざまなGTフリーメトリクスが、実際のHTR品質をどの程度正確に予測できるかを比較すること。
• 多言語 BERT および RoBERTa から導出される疑似パーセプレキシティ（PPPL）が、語彙依存のメトリクスの代替としてスケーラブルで言語に依存しない選択肢として有効であるかを評価すること。
• グランドトゥルースが存在しない状況でも、複数のHTRシステム間でのモデル選択を可能にするために、これらのメトリクスを活用すること。デジタル・ヒューマニティーズおよびアーカイブワークフローへの導入を支援する。

提案手法

• HTR出力のトークンをマスキングし、多言語 BERT および RoBERTa を用いてパーセプレキシティを計算することで、新しいメトリクスである疑似パーセプレキシティ（PPPL）を提案する。
• 標準的な言語モデル（LM）およびマスキング言語モデル（MLM）を用い、HTR出力を潜在的な言語系列とみなしてパーセプレキシティスコアを計算する。
• 事前に定義された語彙に含まれる認識済みトークンの割合を測定するシンプルなベースラインとして、トークン比メトリクスを導入する。
• 語彙的一致性のベースラインとして、文字n-gram（2-から7-gram）を用い、CERとの相関を比較する。
• 各メトリクスが実際のCERに基づく順位付けとどの程度一致するかを評価するために、スピアマン順位相関を適用する。
• CERを基準基準として用い、3つのデータセット（Gwalther：433行、Gwalther：57行、Bullinger：825行）でメトリクスを検証する。

実験結果

リサーチクエスチョン

• RQ1 多言語トランスフォーマーから計算されたPPPLは、グランドトゥルースが存在しない状況でも、HTR品質の信頼できる代理指標として機能するか？
• RQ2 語彙ベース、統計的言語モデル、およびMLMベースのメトリクスは、実際のHTR誤り率を予測する上で、どの程度比較的優れているか？
• RQ3 多様な歴史的手書き本文コーパスにおいて、GTフリーのメトリクスがCERに基づく順位付けとどの程度相関するか？
• RQ4 特に低リソースまたはマルチリンガルな状況において、PPPLベースのメトリクスは従来の語彙ベース手法を上回るか？
• RQ5 グランドトゥルースが存在しない状況でも、これらのメトリクスは複数の候補の中から最良のHTRモデルを効果的に選択できるか？

主な発見

• 多言語 BERT および RoBERTa からのPPPLはCERと強く相関し、BullingerおよびGwaltherデータセットでR²値が0.90以上を達成した。
• トークン比メトリクスは、Gwalther 433でR²値0.98、Bullinger 825でR²値0.95を示し、語彙的一致性が強力な品質指標であることを確認した。
• PPPLベースのメトリクスは、Bullinger 825セットでは70%のケース、Gwalther 57セットでは60%のケースでトップ1のモデル選択に成功し、統計的LMおよびn-gramベースラインを上回った。
• 統計的言語モデルのPPLは弱い相関（BullingerでR² ≈ 0.65）を示し、HTR品質推定において限界があることを示した。
• PPPLベースのメトリクスは語彙ベース手法と同等またはそれを上回る性能を示し、言語固有の語彙が不要なスケーラブルな代替手段を提供した。
• 本研究は、不規則な綴りと低リソース性を特徴とする歴史的ドイツ語（ENHG）に対しても、PPPLが効果的なモデルランク付けと品質推定を可能にすることを確認した。