[論文レビュー] hmBERT: Historical Multilingual Language Models for Named Entity Recognition

Stefan Schweter, Luisa März+2 more|arXiv (Cornell University)|May 31, 2022

Topic Modeling被引用数 13

ひとこと要約

本稿では、ドイツ語、英語、フランス語、スウェーデン語、フィンランド語の歴史的OCR処理済みテキストを、ドメイン固有のトークン化と段階的な微調整を用いて自己教師あり事前学習することで、低リソースな歴史的ドメインにおける名前付きエンティティ認識（NER）を向上させるために、hmBERTと呼ばれる多言語Bertベースの言語モデルを紹介する。フィルタリング処理を施した高信頼度OCRコーパスを用いた自己教師あり事前学習と、多段階微調整により、hmBERTはHIPE-2022 NERC-Coarseチャレンジで最先端の性能を達成し、3つの言語のうち2つの言語で他のシステムを上回った。

ABSTRACT

Compared to standard Named Entity Recognition (NER), identifying persons, locations, and organizations in historical texts constitutes a big challenge. To obtain machine-readable corpora, the historical text is usually scanned and Optical Character Recognition (OCR) needs to be performed. As a result, the historical corpora contain errors. Also, entities like location or organization can change over time, which poses another challenge. Overall, historical texts come with several peculiarities that differ greatly from modern texts and large labeled corpora for training a neural tagger are hardly available for this domain. In this work, we tackle NER for historical German, English, French, Swedish, and Finnish by training large historical language models. We circumvent the need for large amounts of labeled data by using unlabeled data for pretraining a language model. We propose hmBERT, a historical multilingual BERT-based language model, and release the model in several versions of different sizes. Furthermore, we evaluate the capability of hmBERT by solving downstream NER as part of this year's HIPE-2022 shared task and provide detailed analysis and insights. For the Multilingual Classical Commentary coarse-grained NER challenge, our tagger HISTeria outperforms the other teams' models for two out of three languages.

研究の動機と目的

• OCR誤り、ドメインシフト、ラベル付きデータの不足といった要因により、歴史的テキストにおける低リソースな名前付きエンティティ認識（NER）の課題に対処すること。
• 自己教師あり事前学習を活用し、ドイツ語、英語、フランス語、スウェーデン語、フィンランド語の歴史的テキストに特化した多言語言語モデルを開発すること。
• 低信頼度OCR出力をフィルタリングし、ドメイン固有のサブワード語彙を構築することで、OCRノイズと語彙の不一致を軽減すること。
• 下流のNERタスクにおけるモデルの有効性を評価し、特にHIPE-2022合同課題の文脈で検証すること。
• 今後の歴史的NLPおよび多言語NER研究を支援するため、公開可能なモデルとコードを提供すること。

提案手法

• 多言語Bertベースのモデル（hmBERT）を、新聞や手書き文書など多様なソースからの大規模な未ラベル付き歴史的テキストで事前学習する。
• 文字認識エラーに起因するノイズを低減するため、高信頼度OCRスコアを持つテキストのみを保持するフィルタリングステップを適用する。
• 事前学習データの代表的サブコーパスから、歴史的用語のカバレッジを向上させるためにドメイン固有のサブワード語彙（語彙サイズ32kおよび64k）を構築する。
• 二段階のアプローチによる微調整を実施：まず多言語NERデータセットで微調整し、その後言語ごとに個別に微調整することでパフォーマンスを最適化する。
• トークン化の問題を解消するため、訓練データ内で長s（ſ）文字を手動で's'に置換することで、UNKトークンの発生を防ぐ。
• HIPE-2022多言語古典コメントNERチャレンジでのパフォーマンスを評価し、単一モデル微調整と1モデルで全言語を処理する戦略を比較する。

実験結果

リサーチクエスチョン

• RQ1 フィルタリング処理を施した高信頼度歴史的OCRコーパスで事前学習された多言語Bertベースの言語モデルは、低リソースな歴史的言語環境におけるNER性能を向上させることができるか？
• RQ2 一般ドメイン語彙と比較して、歴史的テキスト処理においてドメイン固有語彙を用いることで、NERパフォーマンスにどのような影響を与えるか？
• RQ3 まず多言語環境で、その後言語ごとに微調整する多段階微調整は、単一モデルでのエンドツーエンド微調整に比べて、より優れたパフォーマンスをもたらすか？
• RQ4 アーキテクチャの選択（例：BERT対ELECTRA）が、OCRノイズを含む歴史的テキストにおける下流のNERパフォーマンスに与える影響はいかほどか？
• RQ5 歴史的テキストの時間的分布の不均衡（例：18世紀〜19世紀）がモデルの汎化性能に与える影響はどの程度で、どのように緩和できるか？

主な発見

• hmBERTは、4つの言語のうち3つ（フランス語、フィンランド語、スウェーデン語）について、NewsEye NERデータセットで最先端のパフォーマンスを達成した。
• HIPE-2022多言語古典コメントNERチャレンジにおいて、HISTeriaシステムは3つの言語のうち2つの言語で他のチームのモデルを上回った。
• 単一モデル微調整戦略（各モデルごとに言語固有の微調整）は、1モデルアプローチよりも高いパフォーマンスを示したが、計算コストが著しく高かった。
• 1モデルアプローチは計算効率が高く、類似したパフォーマンスを達成したため、計算リソースが制限される状況では実用的かつ代替可能な選択肢となった。
• ドメイン固有語彙の使用とOCR信頼度フィルタリングにより、モデルのロバスト性とエンティティ認識の正確性が顕著に向上した。
• 同じコーパスで学習したELECTRAベースのモデルは、下流のNERタスクでBERTベースのモデルに比べ1〜3パcentポイント低い性能を示し、リリースを断念した。