[論文レビュー] An Unsupervised Method for Uncovering Morphological Chains

Karthik Narasimhan, Regina Barzilay+1 more|arXiv (Cornell University)|Mar 8, 2015

Neural Networks and Applications被引用数 32

ひとこと要約

本稿では、対照的推定を用いた対数線形モデルにより、語彙的および意味的特徴を統合した教師なしモデルを提案する。このモデルは、基本語形から屈曲形に至る語彙素の鎖（morphological chains）を同定する。アラビア語、英語、トルコ語の3言語において、5つの最先端システムを上回る性能を達成し、英語ではMorfessorに対して8.5%のF-measure向上を達成した。また、意味的特徴が性能向上に最大11%寄与することを示した。

ABSTRACT

Most state-of-the-art systems today produce morphological analysis based only on orthographic patterns. In contrast, we propose a model for unsupervised morphological analysis that integrates orthographic and semantic views of words. We model word formation in terms of morphological chains, from base words to the observed words, breaking the chains into parent-child relations. We use log-linear models with morpheme and word-level features to predict possible parents, including their modifications, for each word. The limited set of candidate parents for each word render contrastive estimation feasible. Our model consistently matches or outperforms five state-of-the-art systems on Arabic, English and Turkish.

研究の動機と目的

• 純粋に語彙的または語レベルのモデルに起因する制限を克服するため、語彙的および意味的情報を統合した教師なし語彙素解析システムの開発。
• 語形成を、親語と子語の関係として定義される語彙素の追加または変容の連鎖としてモデル化すること。
• 判別的枠組み内で分布的語ベクトルと語彙素レベルの特徴を組み合わせることで、語彙素分割の精度を向上させること。
• 各語の候補親語の数を制限することで、大きな探索空間を避けることにより、対照的推定を用いた効率的な学習を可能にすること。

提案手法

• 語形成を、基本語から派生形に至る親子関係の連鎖として表現する。
• 各ターゲット語の候補親語をスコアリングするための対数線形モデルを用い、語彙素レベルおよび語レベルの特徴を統合する。
• 語彙的特徴には、接尾語再利用、語の共起、語彙素の連結または変容パターンが含まれる。
• 意味的特徴は、親語と子語の間の類似度を測る語ベクトル埋め込みから導出される。
• 対照的推定を用いて、正解の親候補を人工的でない負例よりも優先させる形で、教師なしでモデルを学習する。
• 各語の候補集合は、語長および可能な変換の制限によって制限され、サンプリングを用いず、列挙ベースの学習が可能になる。

実験結果

リサーチクエスチョン

• RQ1 語彙的パターンに意味的類似性を統合することで、純粋に語彙的モデルを上回る教師なし語彙素分割が可能になるか？
• RQ2 語彙素鎖を用いた判別的対数線形モデルは、語彙素レベルおよび語レベルの特徴をどれほど効果的に捉えられるか？
• RQ3 意味的情報は、アラビア語、英語、トルコ語のような多様な言語において、分割精度にどの程度寄与するか？
• RQ4 本モデルの性能は、複数の言語において5つの最先端の教師なし語彙素解析器と比較してどうなるか？
• RQ5 モデルが犯す誤りの種類は何か？また、語彙的構造が異なる言語間でどのように変化するか？

主な発見

• 本モデルは、英語データセットにおいてMorfessorを8.5%上回るF-measureを達成し、3言語すべてにおいて5つの最先端システムを一貫して上回った。
• 英語では意味的特徴が最大11%の性能向上に寄与し、トルコ語では3%の寄与が確認され、意味的特徴が語彙素解析において価値あるものであることが示された。
• モデルが予測する親語の確率分布は非常に鋭く、平均最大確率が0.77に達しており、各語に対して1つの正しい親語を強く選好していることが示された。
• 英語における予測された接尾語の頻度分布は、正解（ゴールド）とよく一致しており、上位予測接尾語がゴールド接尾語とよく一致していた。
• アラビア語では過剰分割（60%の誤り）が主な誤りタイプであり、主に1文字の接尾語に起因する。一方、英語およびトルコ語では不足分割が支配的であった。
• アラビア語の誤りのうち14%は、モデルが捉えていないビニヤン（語根-テンプレート）パターンに起因しており、モデルが多くの構造を暗黙的に捉えていることが示唆された。