[論文レビュー] Neural Morphology Dataset and Models for Multiple Languages, from the Large to the Endangered

Mika Hämäläinen, Niko Partanen+2 more|arXiv (Cornell University)|May 26, 2021

Natural Language Processing Techniques被引用数 5

ひとこと要約

この論文では、既存の有限状態トランスデューサ（FST）から自動的に学習データを抽出することで、22の屈曲豊富語（うち17語は絶滅危惧語）を含む大規模なニューラル表層形態素解析データセットとモデルを提示する。ニューラルモデルはFSTと同一の表層形態素タグセットを採用しており、フォールバックシステムとしての統合が可能で、意味の曖昧さや複雑な表層形態素構造の課題にもかかわらず、未知語に対する精度が80％を超える。

ABSTRACT

We train neural models for morphological analysis, generation and lemmatization for morphologically rich languages. We present a method for automatically extracting substantially large amount of training data from FSTs for 22 languages, out of which 17 are endangered. The neural models follow the same tagset as the FSTs in order to make it possible to use them as fallback systems together with the FSTs. The source code, models and datasets have been released on Zenodo.

研究の動機と目的

• ルールベースの有限状態トランスデューサ（FST）の表層形態素解析、生成、語彙還元のフォールバックとして機能するニューラル表層形態素解析モデルを開発すること。
• 複数の言語、特に絶滅危惧語であるウロ＝アルタイ語族やその他の表層形態素が豊富な言語を対象とした、大規模かつ公開可能な学習データセットを構築すること。
• 既存のFSTと同一の表層形態素タグセットを採用することで、ニューラルモデルとルールベースシステムの間で相互運用性を確保し、NLPアプリケーションへの統合を可能にすること。
• ニューラルモデルの一般化能力とルールベースFSTの正確性を組み合わせることで、表層形態素システムのカバレッジを向上させること。
• 低リソース言語および絶滅危惧語の文脈における実世界のNLPアプリケーションを支援するため、アクセス可能で相互運用可能かつ正確なモデルを提供すること。

提案手法

• 既存のFSTと正規表現トランスデューサを合成することで、各語彙素片に対して可能なすべての屈曲形を生成し、大規模な学習データを自動抽出する。
• GiellaLT FSTインfraストラクチャと同一の表層形態素タグセットを採用することで、ニューラルモデルとルールベースシステムの間で相互運用性を確保する。
• 抽出されたデータセットを用いて、表層形態素解析、生成、語彙還元の各タスクに特化した別個のニューラルシーケンス・ツー・シーケンスモデルを学習する。
• 一般化性能をテストするために、出力語彙外語（OOV語）のみを評価対象とし、正解データセットとの厳密な1-best出力マッチングを用いる。
• 曖昧さの処理を検討するためにN-bestデコードを実装し、1つの入力に対して複数の正しい出力が存在する可能性を認識する。
• 計算上の非現実性と複雑さのため、屈曲語、合成語、派生語は学習から除外する。今後の研究として、これらの構造に特化した処理の方法を提案する。

実験結果

リサーチクエスチョン

• RQ1 FSTから抽出したデータで学習されたニューラルモデルは、既存のルールベースFSTと互換性を保ちつつ、未知語に対して高い精度を達成できるか？
• RQ2 ニューラルモデルは、低リソース言語および絶滅危惧語の文脈において、表層形態素が複雑でまれな形態に対してもどれほど一般化できるか？
• RQ3 曖昧な入力に対して評価した場合、ニューラルモデルの性能はFSTと比べてどうか？また、N-bestデコードは精度を損なわずにカバレッジを向上させられるか？
• RQ4 ニューラル表層形態素解析学習に、屈曲語、合成語、派生語を含めることの実用的制限は何か？また、それらはどのように解決できるか？
• RQ5 ニューラルモデルは、コアとなるルールベースインfraストラクチャを置き換えることなく、実世界のNLPシステムで効果的にフォールバックとして使用できるか？

主な発見

• ニューラルモデルは、複雑な表層形態素パラダイムの課題にもかかわらず、複数の言語で未知語に対して80％を超える精度を達成し、強力な一般化能力を示した。
• 表層形態素解析が最も挑戦的であり、より長い学習時間と、生成や語彙還元に比べて低いパフォーマンスを示した。
• 1-best出力マッチングによる評価のため、結果は若干保守的であった。多くのテスト入力は曖昧で、複数の正しい出力が存在したため。
• モデルはすでにN-best候補を生成できるため、曖昧さがしばしば正しく捉えられていることが示唆され、今後の研究でこれらの出力を活用することで再現率を向上できる可能性がある。
• データセットとモデルはZenodoに完全な学習・検証・テスト分割とともに公開されており、再現性と下流NLPタスクでの再利用を可能にしている。
• 計算的・実装上の制約のため、屈曲語、合成語、派生語を除外したが、このアプローチは絶滅危惧語および低リソース言語における表層形態素NLPのスケーラブルな基盤を提供している。