[論文レビュー] Comparing morphological complexity of Spanish, Otomi and Nahuatl

Ximena Gutierrez-Vasques, Víctor Mijangos|arXiv (Cornell University)|Aug 13, 2018

Natural Language Processing Techniques参考文献 13被引用数 3

ひとこと要約

本研究は、コーパスベースの指標（タイプ・トークン比（TTR）、エントロピー、パープレキシティ）を用いて、スパニッシュ、オトomi、ナワトリ語の形態的複雑さを比較する。2つの小さな並列コーパスを用いた分析により、ナワトリ語は高い形態的生産性（高いTTR）を示すが、スパニッシュより予測可能性が高い（エントロピー／パープレキシティが低い）のに対し、オトomi語は生産性と不確実性の両方で高い複雑さを示しており、複雑な屈折語的クラス、語幹の入れ替え、派生的プロセスによる、より高い形態的複雑性を示している。

ABSTRACT

We use two small parallel corpora for comparing the morphological complexity of Spanish, Otomi and Nahuatl. These are languages that belong to different linguistic families, the latter are low-resourced. We take into account two quantitative criteria, on one hand the distribution of types over tokens in a corpus, on the other, perplexity and entropy as indicators of word structure predictability. We show that a language can be complex in terms of how many different morphological word forms can produce, however, it may be less complex in terms of predictability of its internal structure of words.

研究の動機と目的

• 形態的複雑さを、コーパスベースの指標を用いて、3つの系統的に異なる言語（スパニッシュ（インド・ヨーロッパ語族）、オトmi（オトミアン語族）、ナワトリ語（ウトア＝アズテカ語族））で定量的に測定すること。
• 高い形態的生産性（多くの語形）が、形態的系列の高い予測可能性と相関するかどうかを調査すること。
• 形態的正規化（語彙素化、語幹抽出、分割）が、複雑さの指標に与える影響を評価すること。
• リソースが乏しい言語（オトmi語、ナワトリ語）が、リソースが豊富な言語（スパニッシュ）と異なる複雑さの特徴を示すかどうかを検討すること。
• TTR（生産性）とエントロピー／パープレキシティ（予測可能性）が、形態的複雑さの定量的指標としてどのように補完的かを評価すること。

提案手法

• 本研究は、言語間で同等の意味的内容を持つ2つの小さな並列コーパス（スパニッシュ、オトmi、ナワトリ語）を用いる。
• タイプ・トークン比（TTR = タイプ数／トークン数）を計算して、形態的生産性と語形の多様性を測定する。
• 統計的言語モデルを形態素の系列に適用して、エントロピーとパープレキシティを計算し、形態的構造の予測可能性を測定する。
• 語彙素化、語幹抽出、分割といった異なる形態的正規化技術を適用し、TTRおよび予測可能性指標に与える影響を評価する。
• 言語間での分析結果を比較して、形態的複雑さの次元における差を評価する。
• エントロピーとパープレキシティは、語彙形成における不確実性と予測可能性を評価するために、語素系列に基づいて計算する。

実験結果

リサーチクエスチョン

• RQ1 並列コーパスにおいて、スパニッシュ、オトmi、ナワトリ語のタイプ・トークン比（TTR）はどのように比較されるか。これは形態的生産性を示唆する。
• RQ2 各言語における形態素の系列の予測可能性は、エントロピーとパープレキシティでどの程度測定されるか。
• RQ3 異なる形態的正規化技術は、各言語の測定された複雑さにどのように影響するか。
• RQ4 高い形態的生産性（高いTTR）を示す言語は、必然的に低い予測可能性（高いエントロピー）を示すのか。
• RQ5 オトmi語とナワトリ語の形態的複雑さの特徴は、スパニッシュとはどのように異なっているか。特に、言語系統とリソースレベルを考慮して検討する。

主な発見

• ナワトリ語は3言語の中で最高のTTRを示しており、アグルーティブで多合成的な性質のおかげで高い形態的生産性を示している。
• 高いTTRにもかかわらず、ナワトリ語はスパニッシュより低いエントロピーとパープレキシティを示しており、形態的系列がより予測可能であることを示唆している。
• オトmi語は高いTTRに加え、高いエントロピーとパープレキシティを示しており、形態的構造の生産性と不確実性の両方で高い複雑さを示している。
• オトmi語の高いエントロピーは、複雑な屈折語的クラス、語幹の入れ替え、接頭辞の変化、特に動詞におけるトーンに依存する形態的特徴に起因している。
• オトmi語の派生的プロセスは、不確実性を増す。これは、屈折的プロセスと比べて頻度が低く、規則的でないからである。
• 本研究は、TTRと予測可能性（エントロピー／パープレキシティ）が補完的であることを示している。言語は、生産性は高いが予測可能（ナワトリ語）である場合もあれば、生産性も高く不確実性も高い（オトmi語）場合もある。