[論文レビュー] Lemmatization of Historical Old Literary Finnish Texts in Modern Orthography

Mika Hämäläinen, Niko Partanen+1 more|arXiv (Cornell University)|Jul 7, 2021

Natural Language Processing Techniques被引用数 5

ひとこと要約

本稿では、古代文学的フィンランド語のテキストを現代フィンランド語表記に同時に正規化および語彙素化するニューラルネットワークベースの手法を提示している。マイケル・アグリコラのテキストでは96.3%の精度を達成し、ドメイン外の現代的歴史的テキストでは87.7%の精度を示した。この手法は、公開されたPythonライブラリとして実装され、研究用にZenodoにリリースされている。

ABSTRACT

Texts written in Old Literary Finnish represent the first literary work ever written in Finnish starting from the 16th century. There have been several projects in Finland that have digitized old publications and made them available for research use. However, using modern NLP methods in such data poses great challenges. In this paper we propose an approach for simultaneously normalizing and lemmatizing Old Literary Finnish into modern spelling. Our best model reaches to 96.3\\% accuracy in texts written by Agricola and 87.7\\% accuracy in other contemporary out-of-domain text. Our method has been made freely available on Zenodo and Github.

研究の動機と目的

• 現代の自然言語処理（NLP）ツールを古代文学的フィンランド語に適用する課題に対処すること。これは、現在のフィンランド語NLPシステムが対応していない古風な綴り方や語彙的構造を含むためである。
• 歴史的フィンランド語テキストに対して、正規化（綴りの標準化）と語彙素化（語形の簡略化）の両方を実行する統合モデルを開発すること。
• 訓練に使用しなかったドメイン外の歴史的テキスト（アグリコラ以外）に対しても、汎用性を評価するために、ドメイン内テキスト（アグリコラ）とドメイン外の現代的歴史的テキストの両方でモデルの性能を評価すること。
• 研究の再現可能性とアクセシビリティを高めるために、使いやすいオープンソースのPythonライブラリとモデル重みをリリースすること。
• フィンランドの初期印刷文学資料の膨大なNLP解析を可能にすること。これは、言語的・表記的障壁のため、現在まで活用されていないままである。

提案手法

• 序列変換ニューラルネットワークモデルを訓練し、古代文学的フィンランド語のトークンをその現代フィンランド語表記に変換する。
• 正規化と語彙素化を同時に学習するため、アグリコラ語彙集の語彙的・文法的アノテーションに基づいたターゲット出力を用いる。
• 訓練データにはマイケル・アグリコラおよび他の同時代の出典からのテキストを含み、綴りの変種はすべて現代フィンランド語表記に正規化されている。
• 長距離依存関係や歴史的綴りのパターンを捉えるために、アテンション機構と双方向LSTM層を用いる。
• 古代語トークンと現代語の語彙素形を一致させるためのカスタム前処理パイプラインを構築し、古代文学的フィンランド語辞典および既存のアノテーションを活用する。
• 最終的なシステムは、NLPワークフローへの容易な統合を目的として、軽量なPythonライブラリ（murre）としてパckage化されている。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、古代文学的フィンランド語テキストに対して、正規化と語彙素化を同時に効果的に行えるか？
• RQ2 訓練に使用しなかったドメイン外の歴史的テキストに対しても、モデルはどれほど汎用性を示すか？
• RQ3 現代フィンランド語表記にマッピングされた場合、古代文学的フィンランド語の語彙素化で達成可能な精度はどの程度か？
• RQ4 この正規化モデルによる事前処理によって、既存の現代フィンランド語NLPツールはどの程度向上するか？
• RQ5 公開された使いやすいツールは、歴史的フィンランド語コーパスにおけるNLP研究への参入障壁を顕著に低下させられるか？

主な発見

• 提案されたモデルは、古代文学的フィンランド語の主要な出典であるマイケル・アグリコラのテキストに対して、語彙素化で96.3%の精度を達成した。
• ドメイン外の現代的歴史的テキストでは、87.7%の精度に達し、優れた汎用性を示した。
• 綴りのばらつきや語形の多様性を解消することで、現代のNLPパイプラインにおける歴史的フィンランド語テキストの利用可能性が著しく向上した。
• 正規化と語彙素化を1つのニューラル序列変換フレームワークに統合することで、逐次処理よりも優れた性能が得られた。
• ZenodoおよびGitHubにモデルとPythonライブラリをリリースしたことで、研究者や開発者が即座に再現可能かつ容易に利用できるようになった。
• 本研究は、古代文学的フィンランド語のための基盤的NLPパイプラインを確立し、計算言語学およびデジタル・ humanies分野における新たな研究分野を開いた。