[論文レビュー] An open diachronic corpus of historical Spanish: annotation criteria and automatic modernisation of spelling

Felipe Sánchez-Martínez, Isabel Martinez-Sempere+2 more|arXiv (Cornell University)|Jun 16, 2013

Natural Language Processing Techniques参考文献 30被引用数 10

ひとこと要約

本稿では、歴史的スペイン語の影響力のあるdiachroniqueコーパス（impact-es）を提示する。これは1481年から1748年までの107のテキスト（800万語以上）を含むオープンアクセスのコレクションであり、語彙素、品詞、現代スペルへの同等物が付与されている。統計的機械翻訳手法を用いた自動表記現代化を導入し、教師あり現代化との比較で極めて低い文字誤り率を達成した。これにより、スペイン語の歴史的言語学的研究が促進された。

ABSTRACT

The IMPACT-es diachronic corpus of historical Spanish compiles over one hundred books --containing approximately 8 million words-- in addition to a complementary lexicon which links more than 10 thousand lemmas with attestations of the different variants found in the documents. This textual corpus and the accompanying lexicon have been released under an open license (Creative Commons by-nc-sa) in order to permit their intensive exploitation in linguistic research. Approximately 7% of the words in the corpus (a selection aimed at enhancing the coverage of the most frequent word forms) have been annotated with their lemma, part of speech, and modern equivalent. This paper describes the annotation criteria followed and the standards, based on the Text Encoding Initiative recommendations, used to the represent the texts in digital form. As an illustration of the possible synergies between diachronic textual resources and linguistic research, we describe the application of statistical machine translation techniques to infer probabilistic context-sensitive rules for the automatic modernisation of spelling. The automatic modernisation with this type of statistical methods leads to very low character error rates when the output is compared with the supervised modern version of the text.

研究の動機と目的

• 言語学的研究を目的として、大規模かつオープンアクセスの歴史的スペイン語diachroniqueコーパスを構築すること。
• 初期近代スペイン語テキストにおける語彙素、品詞、現代表記の標準化されたアノテーション基準を開発すること。
• 統計的機械翻訳技術を用いて自動表記現代化を可能にすること。
• FreeLingなどのオープンソースNLPツールに歴史的言語リソースを統合することを支援すること。
• 包括的でオープンなライセンス枠組みを通じて、歴史的テキストのOCR精度とアクセス性を向上させること。

提案手法

• コーパスは、1481年から1748年までの107の初期印刷スペイン語テキストから構成され、グランドトゥルースデータセットおよびBiblioteca Virtual Miguel de Cervantesから収集された。
• 相互運用性と長期保存性を確保するため、テキストエンコーディングイニシアチブ（TEI）基準に従ってエンコードされた。
• 約7%の語が語彙素、品詞、現代表記への同等物について手動でアノテートされた。
• アノテートデータから文脈に応じた表記現代化ルールを推定するため、統計的機械翻訳モデルが訓練された。
• モデルの評価は、出力結果を教師あり現代化ベースラインと比較し、文字誤り率を測定することで行われた。
• 補足的な語彙索引は、1万語の頻出語彙素をコーパス内での出現事例と関連付け、活用的および語彙的分析を強化している。

実験結果

リサーチクエスチョン

• RQ1 どのようにして一貫性のあるアノテーション基準を用いて、大規模かつオープンアクセスの歴史的スペイン語diachroniqueコーパスを体系的に構築できるか？
• RQ2 統計的機械翻訳技術は、初期近代スペイン語に対して、どれほど正確で文脈に適した表記現代化を実現できるか？
• RQ3 ゴールスタンダードの教師あり現代化と比較した場合、自動現代化の文字誤り率はどの程度か？
• RQ4 diachroniqueコーパスは、歴史的言語処理のためのオープンソースNLPツールキットに効果的に統合できるか？
• RQ5 標準化され、オープンアクセスの言語学的リソースは、歴史的テキストのOCR精度とアクセス性にどのような影響を与えるか？

主な発見

• impact-esコーパスは、1481年から1748年までの107の歴史的スペイン語テキストを含み、合計約800万語であり、その7%が語彙素、品詞、現代表記にアノテートされている。
• コーパスおよびその付随する語彙索引は、クリエイティブ・コモンズ・アトリビューション・ノンコマercial・サメ・アライク（CC BY-NC-SA 3.0）ライセンスの下で公開されており、言語学的研究における広範な再利用を可能にしている。
• 表記現代化のための統計的機械翻訳アプローチは、教師あり現代化ベースラインと比較して極めて低い文字誤り率を達成した。
• アノテート済みデータおよび語彙索引は、FreeLingなどのオープンソースNLPツールと互換性があり、下流の言語処理パイプラインへの統合を容易にしている。
• このプロジェクトは、オープンアクセスの歴史的スペイン語diachroniqueコーパスとして初のものであり、corde や Corpus del Español といった制限付きのWebアクセスコーパスと比較して、格段にアクセス性が向上した。
• プロジェクトによるOCRの改善、特にレイアウト検出および文字認識の向上により、歴史的文書の単語再検出率が最大30%向上した。