[論文レビュー] Unsupervised POS Induction with Word Embeddings

Chu‐Cheng Lin, Waleed Ammar+2 more|arXiv (Cornell University)|Mar 23, 2015

Natural Language Processing Techniques参考文献 20被引用数 17

ひとこと要約

この論文は、教師なしPOSインダクションにおける従来の多項分布語彙発生モデルを、事前学習済み語埋め込み上での多変量ガウス分布に置き換える手法を提案し、8言語にわたり顕著な性能向上を達成した。主な発見は、スキップグラム埋め込みにおける小さなコンテキスト窓サイズがより優れた句読点情報を持つことであり、語の種類そのものではなく、埋め込み上でのガウス発生モデルを用いることで、より優れたPOSインダクション結果が得られることである。

ABSTRACT

Unsupervised word embeddings have been shown to be valuable as features in supervised learning problems; however, their role in unsupervised problems has been less thoroughly explored. In this paper, we show that embeddings can likewise add value to the problem of unsupervised POS induction. In two representative models of POS induction, we replace multinomial distributions over the vocabulary with multivariate Gaussian distributions over word embeddings and observe consistent improvements in eight languages. We also analyze the effect of various choices while inducing word embeddings on "downstream" POS induction results.

研究の動機と目的

• 語埋め込みが教師あり学習の文脈を超えて、教師なしPOSインダクションを向上させられるかどうかを調査すること。
• 語埋め込みの構文的コンテンツを測る評価指標の不足を是正すること。
• 古典的なPOSインダクションモデル（HMMおよびCRFオートエンコーダ）を再パrameter化し、離散的な語の種類の代わりに連続的な埋め込みを用いること。
• 異なる埋め込み生成手法が、下流のPOSインダクション性能に与える影響を評価すること。

提案手法

• HMMにおける多項分布発生分布を、事前学習済み語埋め込み上での多変量ガウス分布に置き換える。
• 語の埋め込みがPOSタグによって与えられた条件付き確率を、平均μₜおよび共分散Σₜを持つガウス分布でモデル化する。
• 標準的なスキップグラムおよび構造化スキップグラム埋め込みを、さまざまなコンテキスト窓サイズと次元数で学習する。
• 同等のガウス発生モデルをCRFオートエンコーダアーキテクチャに適用し、比較に用いる。
• HMMにはEMアルゴリズム、CRFオートエンコーダには確率的勾配降下法を用いてモデルを学習する。
• 8言語で、さまざまな埋め込みタイプ、窓サイズ、次元数を用いて、V-measureを用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 教師なしPOSインダクションモデルにおいて、離散的な語の種類の代わりに連続的な語埋め込みを用いることで、性能向上が達成できるか？
• RQ2 語埋め込みモデルの選択、特にコンテキスト窓サイズが、POSインダクションに適した埋め込みの構文的品質に与える影響は？
• RQ3 HMMおよびCRFオートエンコーダにおいて、埋め込み上でのガウス分布を用いることで、従来の多項分布発生モデルを上回る性能が得られるか？
• RQ4 埋め込み次元数およびモデルアーキテクチャが、POSインダクション結果にどの程度影響を及ぼすか？
• RQ5 教師なしPOSインダクションは、語埋め込みの構文的コンテンツを評価するための診断ツールとして機能できるか？

主な発見

• 多変量ガウス発生モデルを語埋め込み上に適用することで、語の種類に対する多項分布モデルと比較して、8言語すべてで一貫してPOSインダクション性能が向上した。
• スキップグラム埋め込みにおける小さなコンテキスト窓サイズ（例：w=1）は、大きな窓よりも顕著に高いV-measureスコアを示し、短い範囲のコンテキストモデルがより多くの構文的情報を捉えられることを確認した。
• 最高のV-measureスコア0.504は、20次元の埋め込み（d=20）で達成されたが、次元数が高くなると性能が低下した（例：d=100では0.460）。
• 特に小さな窓サイズにおいて、構造化スキップグラム埋め込みは標準スキップグラム埋め込みを上回った。
• POSカテゴリの学習済み重心は、しばしば抽象的または機能語（例：動詞に対して「entails」、「deems」）に近い位置にあり、埋め込み空間における代表的性（prototypicality）が言語的直感と一致しない可能性を示唆した。
• 勾配上昇実験により、語埋め込みが構文的に類似した語をクラスタリングすることが確認され、埋め込み空間に構文的類似性がエンコードされているという仮定が妥当であることが裏付けられた。