[論文レビュー] Classifying Syntactic Regularities for Hundreds of Languages

Reed Coke, Ben King+1 more|arXiv (Cornell University)|Mar 25, 2016

Natural Language Processing Techniques参考文献 22被引用数 8

ひとこと要約

本稿では、言語的、タイプロジカル、系統的特徴を用いて、World Atlas of Language Structures (WALS) データベース内の句法学的特徴を予測する機械学習的手法を提案する。系統的分類（語族）内での多数決ラベル伝播が最も高い精度を達成し、次いでタイプロジカルおよび言語的特徴を組み合わせたロジスティック回帰が続いた。これは、スパースな言語的データの自動拡張が有効に可能であることを示している。

ABSTRACT

This paper presents a comparison of classification methods for linguistic typology for the purpose of expanding an extensive, but sparse language resource: the World Atlas of Language Structures (WALS) (Dryer and Haspelmath, 2013). We experimented with a variety of regression and nearest-neighbor methods for use in classification over a set of 325 languages and six syntactic rules drawn from WALS. To classify each rule, we consider the typological features of the other five rules; linguistic features extracted from a word-aligned Bible in each language; and genealogical features (genus and family) of each language. In general, we find that propagating the majority label among all languages of the same genus achieves the best accuracy in label pre- diction. Following this, a logistic regression model that combines typological and linguistic features offers the next best performance. Interestingly, this model actually outperforms the majority labels among all languages of the same family.

研究の動機と目的

• World Atlas of Language Structures (WALS) のスパースさに起因する、可能な言語-規則ペアの40％未満のデータ収集問題に対処すること。
• 言語的、タイプロジカル、系統的特徴を用いて、WALSにおける欠落している句法学的規則値を自動的に予測する手法を開発すること。
• 325言語における句法学的規則に対して、回帰、近隣法、多数決投票のさまざまな分類モデルの性能を評価すること。
• 語族（語族・系統）と語族レベルの予測特徴としての、ワードアラインド聖書と系統的データの有効性を検討すること。
• リソースが乏しい言語や欠落している言語に対し、正確でデータ駆動型の予測を用いて、より良い多言語NLPを実現すること。

提案手法

• 325言語について、WALSの6つの句法学的規則、ワードアラインド聖書から抽出した言語的特徴、系統的データ（語族・系統）を組み合わせた特徴ベクトルを構築した。
• 複数の分類手法を適用した：ロジスティック回帰、k-近傍法、言語の語族および系統内での多数決ラベル伝播。
• 正則化技術を用いて言語的およびタイプロジカル特徴を統合し、スパースな学習データでも一般化性能を向上させた。
• 6つの句法学的規則（語順、否定のパターンなど）に対して交差検証を用いてモデルを評価した。
• 言語的依存関係をモデル化するための複合特徴（例：'ゲルマン語族かつ83A-No_Dominant_Order'）の特徴工学を検討した。
• 将来の言語の類似性ネットワークを用いたラベル伝播のために、グラフ正則化と半教師あり学習を提案した。

実験結果

リサーチクエスチョン

• RQ1 ワードアラインド聖書からの言語的特徴は、スパースなWALSデータベースにおける句法学的規則値の予測を改善できるか？
• RQ2 言語の語族内での多数決ラベル伝播は、他の分類手法に比べて句法学的タイプロジー予測で優れているか？
• RQ3 WALSのタイプロジカル特徴と聖書アラインメントからの言語的特徴を組み合わせることで、分類精度は向上するか？
• RQ4 タイプロジカルおよび言語的特徴を統合したロジスティック回帰モデルは、系統的多数決投票を上回る性能を示せるか？
• RQ5 半教師ありまたはグラフベースの正則化手法は、リソースが乏しい言語的状況でのラベル予測をどの程度向上させられるか？

主な発見

• 言語の語族内での多数決ラベル伝播が、6つの句法学的規則すべてで最高の分類精度を達成し、他のすべての手法を上回った。
• タイプロジカルおよび言語的特徴を組み合わせたロジスティック回帰モデルが2番目の高い性能を示し、語族内多数決投票をも上回った。
• 言語的特徴とタイプロジカル特徴の組み合わせにより、単独での特徴セットよりも予測精度が向上し、両データソースの相乗効果が示された。
• WALSのスパースさにもかかわらず、語族レベルの多数決投票を用いることで、6つの規則の半数について人間レベルの精度の2％以内に到達した。
• 言語的特徴単体では一貫した優位性は示されなかったが、タイプロジカルデータと組み合わせることで、特にリソースが乏しい状況で有意義な貢献をした。
• 結果から、系統的情報は依然として予測に強く有用であるが、言語的特徴はWALSに存在しない言語に対しても代替的かつ有効な選択肢を提供することが示唆された。