[論文レビュー] What do complexity measures measure? Correlating and validating corpus-based measures of morphological complexity

Çağrı Çöltekin, Taraka Rama|arXiv (Cornell University)|Apr 11, 2022

Natural Language Processing Techniques被引用数 4

ひとこと要約

本研究では、30の言語における8つのコーパスベースの語彙的複雑さの測定法を評価し、主成分分析（92.6%の分散説明）により強い相関関係と支配的である1つの潜在的次元が明らかになった。理論的には数え上げ的複雑さと統合的複雑さに区別されるが、実際にはこれらの測定法は主に1つの整合的な語彙的複雑さの次元を反映しており、単一の指標よりも複数の指標を組み合わせることでより信頼性の高い結果が得られることが示された。

ABSTRACT

We present an analysis of eight measures used for quantifying morphological complexity of natural languages. The measures we study are corpus-based measures of morphological complexity with varying requirements for corpus annotation. We present similarities and differences between these measures visually and through correlation analyses, as well as their relation to the relevant typological variables. Our analysis focuses on whether these `measures' are measures of the same underlying variable, or whether they measure more than one dimension of morphological complexity. The principal component analysis indicates that the first principal component explains 92.62 % of the variation in eight measures, indicating a strong linear dependence between the complexity measures studied.

研究の動機と目的

• 広く使われているコーパスベースの語彙的複雑さの測定法が、同じ潜在的言語的構造を測定しているかどうかを評価すること。
• これらの測定法が、数え上げ的（語彙・句法的区別の数）および統合的（形態的形の予測可能性）といった複数の複雑さの次元を捉えているかどうかを調査すること。
• WALSデータベースの類型的特徴および語彙的変形の正確性データと照合して、これらの測定法の妥当性を検証すること。
• 複数の測定法を組み合わせることで、語彙的複雑さの評価における信頼性が向上するかどうかを特定すること。
• コーパスサイズおよび不規則形の頻度がモデルの性能および複雑さ推定に与える影響を検討すること。

提案手法

• 30の言語における8つの語彙的複雑さの測定法に主成分分析（PCA）を適用し、変動の背後にある次元を同定した。
• 複数のツリー・バンク（例：UD, TüBa-D/Z）から得たコーパス由来の語彙的変形表を用いて、複雑さスコアを計算し、現実の言語使用と整合性を保った。
• WALSの類型的特徴および否定形の変形正確性スコアと、複雑さの測定法を相関させ、外部妥当性を評価した。
• すべての複雑さ測定法のペア間で相関分析を実施し、それらの相互依存性を評価した。
• コーパスサイズおよび不規則形の頻度がモデルの性能および複雑さ推定に与える影響を分析した。
• 測定法およびPCAの次元ごとの言語ランク付けを可視化し、言語系統や類型的類似性に基づくクラスタリングの有無を評価した。

実験結果

リサーチクエスチョン

• RQ1 8つのコーパスベースの語彙的複雑さの測定法は、同じ潜在的言語的構造を評価しているか？
• RQ2 これらの測定法は、数え上げ的複雑さや統合的複雑さといった複数の語彙的複雑さの次元をどの程度反映しているか？
• RQ3 複雑さの測定法は、WALSの類型的特徴や変形正確性といった外部言語変数とどの程度相関しているか？
• RQ4 複雑さの測定法が否定形変形正確性と正の相関を示すのはなぜか？（予想される負の相関とは逆である。）
• RQ5 複数の複雑さ測定法を組み合わせることで、単一の測定法よりも安定的かつ信頼性の高い語彙的複雑さの推定が可能になるか？

主な発見

• 最初の主成分が8つの複雑さ測定法の分散の92.6213%を説明しており、強い線形的依存関係と支配的である1つの潜在的次元があることが示された。
• 理論的には数え上げ的複雑さと統合的複雑さに区別されるが、実際にはこれらの測定法は主に1つの整合的な語彙的複雑さの次元を反映している。
• 派生語彙的構造や複合語に敏感な測定法（例：WHおよびLH）は、ベトナム語や英語のような言語に対して高いスコアを示し、それらが他の指標では複雑さが低いと評価される場合でも同様の結果を示した。
• すべての複雑さ測定法が互いに正の相関関係を示しており、共通の構造に焦点を当てていることが裏付けられた。
• MSP測定法は否定形変形正確性との相関が最も高く（0.2837）、不規則性および処理の難易度に最も敏感であると考えられる。
• 同じまたは密接に関連する言語からのツリー・バンクはPCA空間で近接してクラスタリングされ、測定法が類型的および系統的関係を信頼性高く反映していることが示された。