[論文レビュー] NEMO: Frequentist Inference Approach to Constrained Linguistic Typology Feature Prediction in SIGTYP 2020 Shared Task

Alexander Gutkin, Richard Sproat|arXiv (Cornell University)|Oct 12, 2020

Natural Language Processing Techniques参考文献 51被引用数 4

ひとこと要約

本論文は、WALSデータから抽出された系統的・領域的・含意的普遍的特徴を用いて、言語的タイプロジー特徴を予測するための頻度主義的推論手法NEMOを提示する。この手法は、言語的関連性の頻度ベース表現にリッジ回帰を適用し、149言語のテストセットで0.66のマイクロ平均精度を達成した。これはSIGTYP 2020共同タスクの制約付きサブタスクで2位の成績を収めた。

ABSTRACT

This paper describes the NEMO submission to SIGTYP 2020 shared task which deals with prediction of linguistic typological features for multiple languages using the data derived from World Atlas of Language Structures (WALS). We employ frequentist inference to represent correlations between typological features and use this representation to train simple multi-class estimators that predict individual features. We describe two submitted ridge regression-based configurations which ranked second and third overall in the constrained task. Our best configuration achieved the micro-averaged accuracy score of 0.66 on 149 test languages.

研究の動機と目的

• WALSのようなリソースにおけるタイプロジー特徴の欠損を補うために、欠落している言語的特徴を予測すること。
• 外部データを一切使用せず、提供された訓練・開発・テスト特徴のみを用いる制約付き機械学習手法の開発。
• 頻度主義的推論が、特徴予測のための言語的相関をモデル化する際に有効であるかを評価すること。
• 複数の分類アルゴリズムを比較し、タイプロジー特徴予測に最も頑健なアプローチを同定すること。

提案手法

• 領域的および系統的言語グループの分類に基づいて、タイプロジー特徴間の相関を頻度主義的推論でモデル化する。
• 領域的および系統的近隣関係および含意的普遍的特徴を表す頻度ベースの入力空間を構築する。
• スパースデータにおける頑健性と一般化性能が優れていることから、主にリッジ回帰（チホノフ正則化）を分類器として採用する。
• WALS特徴から含意的普遍的特徴を導出し、言語的性質間の論理的依存関係を符号化する。
• 過剰に複雑化を避けるために、地理的および系統的関連性に固定近隣領域アプローチを採用する。
• ロジスティック回帰、ランダムフォレスト、SVMsを含む複数の分類器を評価し、リッジ回帰を最良のパフォーマンスを示すものとして選定した。

実験結果

リサーチクエスチョン

• RQ1 頻度主義的推論は、スパースデータセットにおける言語的相関を効果的にモデル化し、タイプロジー特徴予測に有効に機能するか？
• RQ2 制約付き条件下で、リッジ回帰は他の分類器と比較してWALSタイプロジー特徴の予測性能に優れているか？
• RQ3 領域的・系統的・含意的普遍的特徴は、予測精度をどの程度向上させるか？
• RQ4 特徴のスパarsity（疎らかさ）は予測性能と相関しているか？また、異なる特徴は予測可能性にどのように差を示すか？
• RQ5 リッジ回帰のようなシンプルで解釈可能なモデルは、このタイプロジー特徴予測タスクにおいて、より複雑なモデルを上回る性能を示せるか？

主な発見

• リッジ回帰はテストセットで最高のマイクロ平均精度0.66を達成し、他のすべての分類器を上回った。
• ベースラインモデル（マイクロ精度0.51）を著しく上回った。
• 語順特徴が最も高い性能向上を示し、1つの特徴（Order_of_Object_and_Verb）は0.89の精度に達した。
• 訓練データに頻出する特徴は一般的に予測が容易であったが、訓練インスタンス数と精度の間には弱い相関（r = -0.34）が見られた。
• 特に語順に関連する特徴に対して、含意的普遍的特徴のモデル化が強い性能を示した。
• 最良のモデルは開発セットとテストセットの両方で一貫しており、リッジ回帰は両方のセットで1位を獲得した。