[論文レビュー] From FreEM to D'AlemBERT: a Large Corpus and a Language Model for Early Modern French

Simon Gabay, Pedro Ortiz Suárez+5 more|arXiv (Cornell University)|Feb 18, 2022

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、16世紀から18世紀にかけての初期近代フランス語（16th–18th centuries）を対象とした大規模コーパス「FreEM max」と、このコーパス上で事前学習されたRoBERTaベースの言語モデル「D’AlemBERT」を紹介する。品詞タグ付けタスクにおける微調整により、最先端の性能を達成し、リソースが豊富な時代から不足している時代へと強力な転移学習効果を示した。これは、低リソース歴史的NLPタスクにおけるモデルの有効性を示している。

ABSTRACT

Language models for historical states of language are becoming increasingly important to allow the optimal digitisation and analysis of old textual sources. Because these historical states are at the same time more complex to process and more scarce in the corpora available, specific efforts are necessary to train natural language processing (NLP) tools adapted to the data. In this paper, we present our efforts to develop NLP tools for Early Modern French (historical French from the 16$^ ext{th}$ to the 18$^ ext{th}$ centuries). We present the $ ext{FreEM}_{ ext{max}}$ corpus of Early Modern French and D'AlemBERT, a RoBERTa-based language model trained on $ ext{FreEM}_{ ext{max}}$. We evaluate the usefulness of D'AlemBERT by fine-tuning it on a part-of-speech tagging task, outperforming previous work on the test set. Importantly, we find evidence for the transfer learning capacity of the language model, since its performance on lesser-resourced time periods appears to have been boosted by the more resourced ones. We release D'AlemBERT and the open-sourced subpart of the $ ext{FreEM}_{ ext{max}}$ corpus.

研究の動機と目的

• 初期近代フランス語という、歴史的に重要だが計算的に挑戦的な言語状態における言語資源の不足と複雑さに対処すること。
• 言語的変異が著しい歴史的言語ほど、現代語に比べてリソースが少なく、処理が困難であるという逆説的状況を克服すること。
• 初期近代フランス語に特化した高品質で大規模なコーパス（FreEM max）と文脈的な言語モデル（D’AlemBERT）を構築すること。
• 同じ言語状態内での低リソース時代に焦点を当て、転移学習の有効性を歴史的NLPで実証すること。
• D’AlemBERTモデルとFreEM maxの一部をオープンソースライセンスで公開し、デジタル・ヒューマニティーズおよび歴史的NLP分野におけるオープン研究を支援すること。

提案手法

• 16世紀から18世紀にかけての初期近代フランス語テキストから成る大規模でキュレートされたコーパス「FreEM max」を構築。複数のデジタルアーカイブおよび歴史的コレクションから収集した。
• マスクド言語モデルの目的関数を用いて、FreEM maxコーパス上でRoBERTaベースの言語モデル「D’AlemBERT」を事前学習した。
• 標準ベンチマークデータセットを用いて、初期近代フランス語の品詞タグ付けタスクにD’AlemBERTを微調整することで、転移学習を適用した。
• リソースが豊富な時期と不足している時期の両方を含む、さまざまな時間帯でのモデル性能を評価し、一般化能力を測定した。
• 標準的なNLP評価指標（例：正確度、F1スコア）を用いて、D’AlemBERTを過去の最先端モデルと比較した。
• D’AlemBERTの重みとFreEM maxの一部をオープンソースライセンスで公開し、再現性およびさらなる研究を可能にした。

実験結果

リサーチクエスチョン

• RQ1 初期近代フランス語の大規模でキュレートされたコーパスは、高性能な文脈的言語モデルの学習を可能にするか？
• RQ2 FreEM maxで事前学習されたRoBERTaベースのモデルは、品詞タグ付けなどの下流NLPタスクで、以前の最先端モデルを上回る性能を示すか？
• RQ3 リソースが豊富な時期から学習したモデルが、リソースが不足しているサブ期間の性能をどの程度向上させるか？
• RQ4 提案されたモデルとコーパスは、名前付きエンティティ認識や共参照解決などの将来の歴史的フランス語NLPタスクの基盤として機能できるか？
• RQ5 歴史的に変動が著しく、標準化されていない言語で学習させた場合、モデルの汎化性と頑健性にどのような影響を与えるか？

主な発見

• D’AlemBERTは、初期近代フランス語の品詞タグ付けベンチマークで、以前の最先端モデルを上回り、より高い正確度とF1スコアを達成した。
• モデルは強力な転移学習能力を示し、リソースが豊富なサブ期間で学習した後、リソースが不足している時期の性能が顕著に向上した。
• FreEM maxコーパスは完全にオープンソースではないが、大規模な一部が公開されており、高品質な歴史的フランス語テキストデータへの広範なアクセスを可能にした。
• RoBERTaベースのアーキテクチャは、初期近代フランス語に特徴的な活用的・語彙的変異を処理するのに効果的であった。
• 限られた、多様なリソースを持つ歴史的言語に対して、専用言語モデルを学習する方法の実現可能性と価値が裏付けられた。
• D’AlemBERTとFreEM maxの一部の公開により、デジタル・ヒューマニティーズおよび歴史的NLP分野における今後の研究の新しいベンチマークと基盤が提供された。