[論文レビュー] Exploring phrase-compositionality in skip-gram models

Xiaochang Peng, Daniel Gildea|arXiv (Cornell University)|Jul 21, 2016

Natural Language Processing Techniques参考文献 17被引用数 3

ひとこと要約

本稿では、スキップグラムモデルを拡張し、語と句の埋め込みを同時に最適化する共同学習フレームワークを提案する。学習可能な構成関数を用いて句の構成性を明示的にモデル化することで、入力および出力の埋め込みに構成制約を課す。文脈の句レベルの情報を組み込み、両者を統合することで、語・句類似度、句構造アナロジー、依存解析タスクの性能が向上し、PTB依存解析ベンチマークではUASが最大0.87%向上した。

ABSTRACT

In this paper, we introduce a variation of the skip-gram model which jointly learns distributed word vector representations and their way of composing to form phrase embeddings. In particular, we propose a learning procedure that incorporates a phrase-compositionality function which can capture how we want to compose phrases vectors from their component word vectors. Our experiments show improvement in word and phrase similarity tasks as well as syntactic tasks like dependency parsing using the proposed joint models.

研究の動機と目的

• 語と句の分散表現におけるデータスパarsityを解消するため、語と句の埋め込みを共同で学習すること。
• 学習可能な構成関数を用いて、語ベクトルがどのように句ベクトルに合成されるかをモデル化すること。
• 語類似度、句類似度、依存解析などの構文的タスクの性能を向上させること。
• 語と句の埋め込み学習プロセスに、位置情報および構文的情報を統合すること。
• 語レベルと句レベルのスキップグラムの共同モデリングが、下流NLPタスクに与える影響を評価すること。

提案手法

• 標準的なスキップグラムモデルを拡張し、現在の句ベクトルが文脈の句を予測する句レベルの予測を含める。
• 負例サンプリングを用いて句レベルの目的関数を最適化し、確率的勾配降下法により句埋め込みを学習する。
• 構成関数 Φ(⊕(σ(v_w1), ..., σ(v_wn))) を導入し、微分可能な演算 ⊕（例：和、連結）と非線形変換 Φ を用いて語ベクトルを句ベクトルに合成する。
• 語レベルと句レベルのスキップグラム目的関数をハイパーパrameter β を用いてバランスさせながら同時に最適化する。
• 句の構造的チャンク（例：NP, VP）を抽出するために、sennaツールキットを用いることで、句レベルモデルのための句を定義する。
• 入力および出力の両方の句埋め込みに共通の構成関数を適用し、埋め込み空間における一貫性を保証する。

実験結果

リサーチクエスチョン

• RQ1 学習可能な構成関数を用いた語と句の埋め込みの共同学習は、語および句類似度タスクの性能向上に寄与するか？
• RQ2 句レベルの共起をモデル化することで、依存解析などの構文的下流タスクの性能が向上するか？
• RQ3 句埋め込みに位置情報および構文的情報を組み込むと、類似度および解析タスクの性能にどのような影響を与えるか？
• RQ4 構成モデリングと位置モデリングの間で、それぞれが埋め込み品質向上に果たす相対的寄与度は何か？
• RQ5 一般化された構成関数は、多様な構文的構造にわたって句埋め込みを効果的にモデル化できるか？

主な発見

• 構成モデリングを組み込んだ共同モデルは、語類似度タスク（WordSim-353）で最高のスピアマン順位相関係数 0.704 を達成し、word2vecおよび位置情報のみのベースラインを上回った。
• 構文アナロジー（SYN）およびミックスドアナロジー（MIXED）タスクでは、構成モデリングと位置モデリングを組み合わせたモデルが最良の性能を示し、MIXEDタスクで80.5%の正答率を達成した。
• 構成＋位置の共同埋め込みを用いた依存解析モデルは、PTBテストセットでUAS 92.19%、LAS 90.82%を達成し、ベースラインのword2vecモデルと比較してそれぞれ0.28%向上した。
• 構文的フレーズを対象とした句レベルスキップグラムのモデリングにより、ベースライン比でUASが0.18%絶対値向上し、埋め込み学習における構文的構造の価値を示した。
• 語類似度タスクでは位置情報の組み込みがわずかに性能を低下させたが、これは構成モデリングが意味的類似度のタスクにおいてより効果的であることを示唆している。
• 不transitive動詞の意味解釈タスクでは、共同構成モデルが最良の性能を達成し、意味的で意味のある句表現を学習できることを確認した。