[論文レビュー] Towards Universal Paraphrastic Sentence Embeddings

John Wieting, Mohit Bansal+2 more|arXiv (Cornell University)|Nov 25, 2015

Topic Modeling参考文献 64被引用数 117

ひとこと要約

この論文は、Paraphrase Database (PPDB) で学習された単語ベクトルの平均化によって、普遍的文ベクトルを学習する単純だが非常に効果的な手法を提案し、ドメインをまたぐテキスト類似度および帰結タスクで最先端の性能を達成している。単純さにもかかわらず、モデルはドメイン外データにおいて複雑なLSTMを上回り、タスク固有のシステムと同等またはそれを上回る性能を示しており、ニューラルネットワークアーキテクチャを必要としない普遍的文ベクトルの新しいベースラインを確立している。

ABSTRACT

We consider the problem of learning general-purpose, paraphrastic sentence embeddings based on supervision from the Paraphrase Database (Ganitkevitch et al., 2013). We compare six compositional architectures, evaluating them on annotated textual similarity datasets drawn both from the same distribution as the training data and from a wide range of other domains. We find that the most complex architectures, such as long short-term memory (LSTM) recurrent neural networks, perform best on the in-domain data. However, in out-of-domain scenarios, simple architectures such as word averaging vastly outperform LSTMs. Our simplest averaging model is even competitive with systems tuned for the particular tasks while also being extremely efficient and easy to use. In order to better understand how these architectures compare, we conduct further experiments on three supervised NLP tasks: sentence similarity, entailment, and sentiment classification. We again find that the word averaging models perform well for sentence similarity and entailment, outperforming LSTMs. However, on sentiment classification, we find that the LSTM performs very strongly-even recording new state-of-the-art performance on the Stanford Sentiment Treebank. We then demonstrate how to combine our pretrained sentence embeddings with these supervised tasks, using them both as a prior and as a black box feature extractor. This leads to performance rivaling the state of the art on the SICK similarity and entailment tasks. We release all of our resources to the research community with the hope that they can serve as the new baseline for further work on universal sentence embeddings.

研究の動機と目的

• 多様なNLPドメインに効果的に転送可能な汎用的で、言い換え可能な文ベクトルの開発。
• 単純な平均化からLSTMに至るさまざまな構成アーキテクチャの、ドメイン内およびドメイン外のテキスト類似度タスクにおける性能評価。
• 単純でニューラルではないモデルが、ゼロショットまたは少数ショットの転移設定において、複雑なニューラルアーキテクチャを上回る可能性があるかどうかの検証。
• 事前学習済み文ベクトルが、類似度、帰結、感情分類などの下流NLPタスクの性能向上に寄与することの実証。
• 今後の研究を促進するため、普遍的文ベクトルの新しいアクセスしやすいベースラインを公開すること。

提案手法

• Paraphrase Database (PPDB) で学習された単語ベクトルの平均化により文ベクトルを学習し、単語ベクトル自体以外に追加の構成パラメータを一切使用しない。
• paragram-sl999 単語埋め込みの修正版を用い、PPDBのフレーズペアに対してバックプロパゲーションを用いて微調整し、paragram-phrase 埋め込みを生成する。
• 各単語ベクトルに、対応する paragram-phrase 埋め込みのL2ノルムに基づく学習済み乗算重みを適用し、重要な内容語を強調する。
• ドメイン内（SICK）およびドメイン外（22個のSemEval STS）データセットを用いてモデルの汎用性と頑健性を評価する。
• 類似度、帰結、感情分類のタスクにおいて、事前学習済み文ベクトルを事前分布または固定特徴抽出器として使用する。
• 類似語検出およびテキスト類似度評価の主な指標として、文ベクトル間のコサイン類似度を用いる。

実験結果

リサーチクエスチョン

• RQ1 単純な単語平均化モデルは、ドメインをまたぐ文類似度転送において、LSTMのような複雑なニューラルアーキテクチャを上回ることができるか？
• RQ2 言い換えデータで学習した文ベクトルの性能は、ニュース、ツイート、画像キャプションなど多様なドメインにどのように一般化されるか？
• RQ3 平均化フレームワーク内で単語埋め込みの構成性を学習することで、事前学習済み単語埋め込みを単純に平均する手法に比べて、どの程度性能が向上するか？
• RQ4 普遍的文ベクトルは、帰結や感情分類などの上流NLPタスクにおいて、効果的な事前分布または特徴抽出器として機能できるか？
• RQ5 埋め込みノルムから導出された単語重要度重みは、文表現品質の向上にどの程度寄与しているか？

主な発見

• 単純な単語平均化モデルは、22個のSemEval STSデータセットの平均でピアソンの $r$ 66.83を達成し、LSTMを平均16.5ポイント上回った。
• paragram-phrase 埋め込みは、2012年から2015年のすべてのSemEval STSタスクで上位25%に位置し、4つのデータセットで最高または並びで最高の性能を記録した。
• 平均化された状態でGloVeとparagram-sl999埋め込みよりも優れており、GloVeに対して平均17.1ポイント、paragram-sl999に対して平均12.8ポイントの改善を達成した。
• paragram-phrase ベクトルのL2ノルムに基づいて学習された乗算重みは、raw paragram-sl999 埋め込みからの性能向上の少なくとも64.76%を占めている。
• Stanford Sentiment Treebankでは、LSTMモデルが粗い粒度の感情分類タスクで89.2%の新しい最先端の正確度を達成し、この特定のタスクでは平均化モデルを上回った。
• 固定特徴抽出器または事前分布として使用された場合、事前学習済み文ベクトルはSICKの類似度および帰結タスクで最先端のモデルと同等の性能を達成した。