[論文レビュー] Using eigenvectors of the bigram graph to infer morpheme identity

Mikhail Belkin, John Goldsmith|ArXiv.org|Jul 2, 2002

Natural Language Processing Techniques参考文献 2被引用数 4

ひとこと要約

本稿では、生コーパスから構築したビグラムグラフの固有ベクトルを活用することで、教師なしで語素の同一性を推定する手法を提案する。グラフの隣接行列を分解することで、同じ文法的カテゴリーに属する語が2次元埋め込み空間にクラスタリングされ、-tion が名詞マークとして一貫した文法的機能を果たすなど、ラベルなしの状態で従来手法を上回る形で語彙解析が可能になる。

ABSTRACT

This paper describes the results of some experiments exploring statistical methods to infer syntactic behavior of words and morphemes from a raw corpus in an unsupervised fashion. It shares certain points in common with Brown et al (1992) and work that has grown out of that: it employs statistical techniques to analyze syntactic behavior based on what words occur adjacent to a given word. However, we use an eigenvector decomposition of a nearest-neighbor graph to produce a two-dimensional rendering of the words of a corpus in which words of the same syntactic category tend to form neighborhoods. We exploit this technique for extending the value of automatic learning of morphology. In particular, we look at the suffixes derived from a corpus by unsupervised learning of morphology, and we ask which of these suffixes have a consistent syntactic function (e.g., in English, -tion is primarily a mark of nouns, but -s marks both noun plurals and 3rd person present on verbs), and we determine that this method works well for this task.

研究の動機と目的

• 生コーパスから一貫した文法的機能を果たす語素を教師なしで特定する手法を開発すること。
• 共起頻度の統計的パターンを用いて、複数の文法的役割を果たす語素（例：複数形の-ｓ と 第3人称単数の-ｓ）を区別する課題に対処すること。
• 派生語尾のうち、明確な文法的行動を示すものに注目することで、自動語彙学習を拡張すること。
• 語の共起構造のパターンが、事前のアノテーションなしに語彙文法的カテゴリーを明らかにできるかを検討すること。
• スペクトル的グラフ手法が語形における文法的規則性をどの程度捉えられるかを評価すること。

提案手法

• 隣接する語の位置に共起する語ペアに基づき、ノードが語を表す近隣語ビグラムグラフを構築する。
• 隣接語ペア間の共起頻度に基づいて重み付き隣接行列を構築する。
• グラフラプラシアンまたは隣接行列の固有ベクトル分解を実行し、低次元埋め込みを抽出する。
• 最初の数個の固有ベクトル（特に2番目と3番目）を用いて、語を2次元空間に射影し、文法的カテゴリーが空間的にクラスタを形成するようにする。
• この埋め込みを用いて、教師なし語彙学習で得られた語尾を分析し、その文法的整合性を評価する。
• 固有空間における語のクラスタリングを行い、語尾が一貫した文法的クラス（例：名詞化語尾 vs. 動詞一致語尾）に対応しているかどうかを評価する。

実験結果

リサーチクエスチョン

• RQ1 ビグラムグラフの固有ベクトルは、ラベルなしの生コーパスにおいて文法的カテゴリーを効果的に明らかにできるか？
• RQ2 教師なし語彙学習から得られた語尾のうち、語形の変化において一貫した文法的行動を示すものはどれか？
• RQ3 語の共起パターンのスペクトル的クラスタリングは、語彙的境界や文法的機能をどの程度正しく特定できるか？
• RQ4 この手法は、教師なし状態で曖昧な語尾（例：-ｓ）と明確な語尾（例：-tion）を区別できるか？
• RQ5 名詞、動詞、形容詞といった文法的カテゴリーが、固有空間において空間的に整合性のあるクラスタを形成する程度はどの程度か？

主な発見

• 同じ文法的カテゴリーに属する語は、ビグラムグラフから導出された2次元固有空間において、空間的に整合性のある近接領域を形成する傾向がある。
• 本手法は、-tion が一貫して名詞マークとして機能することを効果的に特定し、埋め込み内での高い文法的整合性を示した。
• -s などの語尾は、複数形名詞や第3人称単数動詞など、複数の文法的役割を果たすため、クラスタリングがやや不規則で、曖昧性が反映されている。
• 固有ベクトルに基づくアプローチは、明確な文法的役割を果たす語素を特定する面で、ベースラインの統計的手法を上回った。
• スペクトル的分解により、品詞タグや語彙的アノテーションが存在しない状態でも、文法的規則性を効果的に捉えることができた。
• 語の隣接構造のパターンと文法的機能を結びつけることで、語素の同一性を信頼性高く推定できるようになった。