[論文レビュー] Towards Finite-State Morphology of Kurdish

Sina Ahmadi, Hossein Hassani|arXiv (Cornell University)|May 21, 2020

Natural Language Processing Techniques参考文献 31被引用数 9

ひとこと要約

この論文は、Sorani Kurdish 語のための最初の有限状態解析系を提示する。Sorani Kurdish 語の名詞、形容詞、副詞、動詞における屈曲語彙のモデル化に、シュトットガルト有限状態変換器（SFST）を用いる。電子辞書から171個の語彙的規則を抽出し、ラテン文字表記における語形の双方向的解析と生成を可能にし、この低リソースで非常に屈曲的な言語の自然言語処理を著しく前進させる。

ABSTRACT

Morphological analysis is the study of the formation and structure of words. It plays a crucial role in various tasks in Natural Language Processing (NLP) and Computational Linguistics (CL) such as machine translation and text and speech generation. Kurdish is a less-resourced multi-dialect Indo-European language with highly inflectional morphology. In this paper, as the first attempt of its kind, the morphology of the Kurdish language (Sorani dialect) is described from a computational point of view. We extract morphological rules which are transformed into finite-state transducers for generating and analyzing words. The result of this research assists in conducting studies on language generation for Kurdish and enhances the Information Retrieval (IR) capacity for the language while leveraging the Kurdish NLP and CL into a more advanced computational level.

研究の動機と目的

• Kurdish 語は低リソースで非常に屈曲的なインド・ヨーロッパ語族に属するが、その計算的語彙ツールの不足に取り組む。
• Sorani Kurdish 語の屈曲語彙を、有限状態変換器ベースのシステムでモデル化する。主に名詞、形容詞、副詞、動詞に焦点を当てる。
• Kurdish BLARK フレームワークにおけるギャップを埋めるために、語彙的解析、合成、テキスト生成に貢献する。
• 新たに入手可能な電子辞書を活用し、ルールベースで逆転可能な語彙的アナライザーとジェネレーターを構築する。
• 将来の語彙的派生語彙、他動詞性、文法的相互作用に関するKurdish NLPの研究基盤を築く。

提案手法

• スタットガルト有限状態変換器（SFST）フレームワークを用い、正規表現と特徴符号化に基づく語彙的規則を実装する。
• アハマディら（2019）の辞書から得たベース語形を、名詞、形容詞、副詞には絶対形を、動詞には過去形・現在形の語幹を用いる。
• 語幹に接尾語を連結することで屈曲語彙をモデル化し、時制、態、語態、人称、数、格などの語彙的素因を含む。
• 双方向変換を実装する：解析（表面形 → 語彙的特徴）と生成（特徴列 → 表面形）。
• 特に /i/ の母音が欠落しているため、ペルシャ・アラビア文字との曇りを避けるためにラテン文字を焦点とする。
• 1st 人称単数の -im、比較の -tir、スーパー.cls の -tirîn、副詞的接尾語の -ane など、主な屈曲語彙素をカバーする171の屈曲規則を定義する。

実験結果

リサーチクエスチョン

• RQ1 有限状態変換器は、Sorani Kurdish 語の複雑な屈曲語彙を効果的にモデル化するためにどのように適用可能か？
• RQ2 Sorani Kurdish 語に存在する、計算的語彙フレームワークに体系的に符号化可能な主要な屈曲的および派生語彙素は何か？
• RQ3 既存の電子辞書は、Kurdish のような低リソース言語のルールベース語彙アナライザー開発をどの程度支援できるか？
• RQ4 豊富な屈曲パラダイムを持つ言語において、どのようにして逆転可能でルールベースのシステムで語彙的解析と生成を達成できるか？
• RQ5 現在のKurdish NLPにおける語彙的モデル化の限界は何か。有限状態法によりそれらはどのように是正できるか？

主な発見

• 本システムは、Sorani Kurdish 語の名詞、形容詞、副詞、動詞という4つの文法的カテゴリーにわたり、171の屈曲規則を効果的にモデル化した。
• 有限状態変換器により、双方向処理が可能である：表面形から語彙的特徴への解析と、特徴列から表面形への生成。
• 本ツールはラテン文字表記における語彙的解析と生成をサポートし、特に /i/ の母音が欠落しているペルシャ・アラビア文字による曇りを回避する。
• SFST を用いた低リソースで非常に屈曲的な言語、たとえばKurdish における語彙的処理の実現可能性が示された。
• 本システムは、将来の語彙的派生語彙、他動詞性、文法的相互作用に関するKurdish NLPの研究の基盤を提供する。
• 開発されたツールおよび辞書リソースは、非営利利用を目的として CC BY-NC-SA 4.0 ライセンスで公開され、Kurdish NLP リソースのオープンアクセスを促進する。