[論文レビュー] Learning Phrase Embeddings from Paraphrases with GRUs

Zhihao Zhou, Lifu Huang+1 more|arXiv (Cornell University)|Oct 1, 2017

Topic Modeling参考文献 30被引用数 6

ひとこと要約

本稿では、構文解析や人手によるアノテーションデータに依存せずに、構成的フレーズ表現を学習するためのペairワイズ-GRUフレームワークを提案する。この手法は大規模な並記表現データベースを活用し、ペアのフレーズに適用されたゲート付き再帰ユニットを用いて意味的類似度をモデル化することで、フレーズ類似度タスクで最先端の性能を達成する。

ABSTRACT

Learning phrase representations has been widely explored in many Natural Language Processing tasks (e.g., Sentiment Analysis, Machine Translation) and has shown promising improvements. Previous studies either learn non-compositional phrase representations with general word embedding learning techniques or learn compositional phrase representations based on syntactic structures, which either require huge amounts of human annotations or cannot be easily generalized to all phrases. In this work, we propose to take advantage of large-scaled paraphrase database and present a pairwise-GRU framework to generate compositional phrase representations. Our framework can be re-used to generate representations for any phrases. Experimental results show that our framework achieves state-of-the-art results on several phrase similarity tasks.

研究の動機と目的

• 構文解析を必要とせずに、あらゆるフレーズに一般化可能な構成的フレーズ表現を学習する手法の開発。
• 大規模な並記表現データベースの活用により、高コストな人手によるアノテーションデータへの依存を低減すること。
• 再帰的アーキテクチャを用いて意味的構成をモデル化することで、フレーズ類似度の性能を向上させること。
• 多様な自然言語処理タスクに応用可能な、再利用可能なフレームワークの構築。

提案手法

• フレームワークは、2つのフレーズを同時に符号化するペアワイズ-GRUアーキテクチャを採用し、それらの意味的関係を捉える。
• ゲート付き再帰ユニット（GRUs）を用いて逐次的依存関係をモデル化し、フレーズの文脈に適応した表現を学習する。
• 類似するフレーズが正例として用いられる大規模な並記ペアでモデルを訓練する。
• 最終的なフレーズ表現は、2つのGRU符号化器の最終隠れ状態の連結から得られる。
• フレームワークはエンドツーエンドで学習可能であり、明示的な構文構造や外部の言語的アノテーションを必要としない。
• 訓練済みモデルを再利用することで、任意の新しいフレーズペアに対してゼロショットでフレーズ埋め込みを生成可能である。

実験結果

リサーチクエスチョン

• RQ1 並記ペアで訓練されたニューラルネットワークは、構文解析を一切用いずに、効果的な構成的フレーズ表現を学習できるか？
• RQ2 既存手法と比較して、ペアワイズ-GRUフレームワークは未観測のフレーズペアにどの程度一般化できるか？
• RQ3 大規模な並記データは、フレーズ埋め込みの学習において、人手によるアノテーションデータをどの程度置き換えることができるか？
• RQ4 このモデルは、フレーズ類似度ベンチマークタスクで既存のアプローチを上回る性能を示すか？

主な発見

• 提案されたペアワイズ-GRUフレームワークは、複数のフレーズ類似度タスクで最先端の性能を達成した。
• 再トレーニングや構造的変更なしに、未学習のフレーズに対しても効果的に一般化した。
• 性能向上は、並記ペアにおける系列モデリングを通じて意味的構成を学習できる能力に起因する。
• 高価な人手アノテーションや構文解析に依存することを低減しつつ、高い精度を維持した。