[論文レビュー] The Current State of Finnish NLP

Mika Hämäläinen, Khalid Alnajjar|arXiv (Cornell University)|Sep 23, 2021

Natural Language Processing Techniques被引用数 2

ひとこと要約

このサーベイ論文は、解析、生成、意味論、音声技術をカバーする、フィンランド語自然言語処理（NLP）の現状について包括的な概要を提供する。UralicNLP、Omorfi、FinnPos、およびニューラルモデルを含む広範なオープンソースツールのおかげで、フィンランドの複数の研究グループにおける学術的および産業的採用が顕著で、フィンランド語NLPの成熟が示されている。

ABSTRACT

There are a lot of tools and resources available for processing Finnish. In this paper, we survey recent papers focusing on Finnish NLP related to many different subcategories of NLP such as parsing, generation, semantics and speech. NLP research is conducted in many different research groups in Finland, and it is frequently the case that NLP tools and models resulting from academic research are made available for others to use on platforms such as Github.

研究の動機と目的

• 複数のサブフィールドにわたるフィンランド語NLP研究の現在の状況をマップすること。
• フィンランドの学術的および産業的環境で開発された主要なオープンソースツールおよびモデルを特定・文書化すること。
• 研究者、産業界の実務家、学生向けに、フィンランド語NLPの最先端の状態を明確にすること。
• フィンランド語の進展を他のウロ＝アルタイ語族言語のNLP開発を支援するため、フィンランドの進捗を提示すること。

提案手法

• フィンランド語NLPに関する最近の査読付き論文およびオープンソースプロジェクトの体系的サーベイ。
• 研究成果を解析、生成、意味論、音声処理の分野に分類すること。
• 技術的基盤に基づくツールの評価：ルールベース（例：CG、FST）、統計的（例：CRF）、ニューラル（例：BERT、トランスフォーマーに基づくモデル）。
• フィンランド語に適用されたマルチリンガルおよび低リソースNLPアプローチの含むこと。
• 方言やOCR処理済み歴史的テキストを含む非標準的フィンランド語の処理に役立つツールの分析。
• 利用可能なNLPツールキットおよびAPIの編纂、特に複数のフィンランド語NLPコンponentsを統合するUralicNLPの重点的取り扱い。

実験結果

リサーチクエスチョン

• RQ1 フィンランド語NLPに貢献している主な研究グループおよびツールは何か？
• RQ2 ルールベースからデータ駆動型およびニューラル手法への移行がフィンランド語NLPに与えた影響は何か？
• RQ3 フィンランド語NLPツールおよびモデルがどれほど公開されており、再利用可能であるか？
• RQ4 方言やOCRエラーといった非標準的フィンランド語の処理に残された課題は何か？
• RQ5 マルチリンガルNLPアプローチはフィンランド語NLP開発にどのように利益をもたらしているか？

主な発見

• フィンランド語NLPは非常に発達しており、Omorfi、FinnPos、UralicNLPなどの強力なオープンソースツールが研究および産業界で広く使われている。
• BERTベースのシステムを含むニューラルおよびデータ駆動型モデルは、固有表現抽出や依存解析などのタスクにおけるパフォーマンスを顕著に向上させた。
• Stanza や spaCy などのマルチリンガルモデルはフィンランド語をサポートしており、クロスリンガル転送を可能にし、単一言語データの必要性を低減している。
• Murre や FiNER といった専用ツールはそれぞれ方言のフィンランド語および固有表現抽出を処理しており、非標準言語の処理における進歩を示している。
• OCRエラーモデル補正および方言正規化は活発な研究分野であり、Murre などのツールは話しかけや非公式なフィンランド語の自動正規化を可能にしている。
• フィンランド語NLPエコシステムは非常に協働的であり、学術的リサーチが頻繁にGitHubに公開されており、広範なアクセス性と再利用性が保証されている。