[論文レビュー] Adaptive Joint Learning of Compositional and Non-Compositional Phrase Embeddings

Kazuma Hashimoto, Yoshimasa Tsuruoka|arXiv (Cornell University)|Mar 19, 2016

Topic Modeling参考文献 31被引用数 8

ひとこと要約

本稿では、学習可能な構成性スコア関数を用いて、合成的でないフレーズ表現を組み合わせる、適応的で統合的な学習フレームワークを提案する。この手法は、フレーズ固有の構成性レベルに基づいて表現を動的に重み付けし、人間が評価した構成性相関と下流タスクの精度の両面で、先行手法を上回る最先端の性能を達成した。

ABSTRACT

We present a novel method for jointly learning compositional and non-compositional phrase embeddings by adaptively weighting both types of embeddings using a compositionality scoring function. The scoring function is used to quantify the level of compositionality of each phrase, and the parameters of the function are jointly optimized with the objective for learning phrase embeddings. In experiments, we apply the adaptive joint learning method to the task of learning embeddings of transitive verb phrases, and show that the compositionality scores have strong correlation with human ratings for verb-object compositionality, substantially outperforming the previous state of the art. Moreover, our embeddings improve upon the previous best model on a transitive verb disambiguation task. We also show that a simple ensemble technique further improves the results for both tasks.

研究の動機と目的

• フレーズ埋め込み学習において、すべてのフレーズを完全に合成的または非合成的とみなすという制限を解消すること。
• 非合成的埋め込みにおけるデータスパarsity問題と、合成的学習における非合成的フレーズに起因するノイズを克服すること。
• 構成性スコアとフレーズ埋め込みを同時に最適化することで、より優れた表現学習を実現すること。
• 学習された構成性レベルに基づいて、フレーズ固有の合成的・非合成的埋め込みの重み付けを柔軟に可能にすること。

提案手法

• 各フレーズ p に対して、フレーズ埋め込みの目的関数と同時に最適化される微分可能スコア関数を用いて、構成性スコア α(p) を計算する。
• フレーズ埋め込み v(p) は、重み付き組み合わせとして定義される：v(p) = α(p)c(p) + (1−α(p))n(p)，ここで c(p) は合成的埋め込み、n(p) は非合成的埋め込みである。
• 合成的埋め込み c(p) は、たとえば加算やRNNを用いた合成関数 f を通じて単語埋め込みから導出される。
• 非合成的埋め込み n(p) は、各フレーズごとに独自のベクトルとして学習され、構成要素の単語の意味に依存しない。
• 構成性スコア関数は、主タスクの目的関数と同時にエンドツーエンドで学習され、モデルがいつ合成的表現か非合成的表現かを適切に選択できるようにする。
• このフレームワークは、及物動詞フレーズ学習に適用され、構成性検出および動詞の意味解釈タスクにおける実験が実施された。

実験結果

リサーチクエスチョン

• RQ1 固定または二値の構成性仮定と比較して、共同で学習された構成性スコアは、フレーズ埋め込みの質を向上させることができるか？
• RQ2 人間がアノテートしたスコアと比較して、モデルは動詞＋目的語フレーズの構成性レベルをどれほど正確に検出できるか？
• RQ3 合成的および非合成的埋め込みの適応的重み付けは、動詞の意味解釈などの下流NLPタスクでより良い性能をもたらすか？
• RQ4 構成性スコア関数は、慣用的フレーズと非慣用的フレーズの両方に対して一般化可能か？
• RQ5 アンサンブル技術を用いることで、モデルの性能はどの程度向上するか？

主な発見

• 提案手法は、動詞フレーズの構成性検出タスクで最先端の性能を達成し、構成性スコアが人間の評価と強い相関を示した。
• 動詞の意味解釈タスクにおいても、前人最高の性能を上回り、一般化性能の向上が確認された。
• モデルが学習した構成性スコアは、フレーズの意味を強く予測可能であり、低スコアのフレーズ（例：'bear fruit'）は主に非合成的であることが判明した。
• 最近接近傍解析の結果、適切なタイミングで構成要素の単語意味に依存を減らすことで、慣用的意味を効果的に捉えていることが示された。
• シンプルなアンサンブル手法により、構成性検出および動詞の意味解釈タスクの両方で性能がさらに向上した。
• 非慣用的フレーズ（例：'buy car'）では高い構成性スコア（α=0.71）が割り当てられ、合成的性質が反映された一方、慣用的フレーズ（例：'take toll'）では低スコア（α≈0.2）が割り当てられ、非合成的表現が優先された。