[論文レビュー] From Paraphrase Database to Compositional Paraphrase Model and Back

John Wieting, Mohit Bansal+3 more|arXiv (Cornell University)|Jun 10, 2015

Topic Modeling参考文献 36被引用数 28

ひとこと要約

本稿では、パラメトリックな言い換えモデルを提案し、Paraphrase Database (PPDB) を活用して、スキップグラムのファインチューニングと再帰的ニューラルネットワークを用いて、より優れた単語およびフレーズ埋め込みを学習する。このモデルは語彙的類似度ベンチマークで最先端の性能を達成し、短フレーズの言い換えを評価するための2つの新しい人間アノテート済みデータセットを導入する。再ランク付けと構成的モデリングにより、PPDBのカバレッジと信頼性が著しく向上する。

ABSTRACT

The Paraphrase Database (PPDB; Ganitkevitch et al., 2013) is an extensive semantic resource, consisting of a list of phrase pairs with (heuristic) confidence estimates. However, it is still unclear how it can best be used, due to the heuristic nature of the confidences and its necessarily incomplete coverage. We propose models to leverage the phrase pairs from the PPDB to build parametric paraphrase models that score paraphrase pairs more accurately than the PPDB's internal scores while simultaneously improving its coverage. They allow for learning phrase embeddings as well as improved word embeddings. Moreover, we introduce two new, manually annotated datasets to evaluate short-phrase paraphrasing models. Using our paraphrase model trained using PPDB, we achieve state-of-the-art results on standard word and bigram similarity tasks and beat strong baselines on our new short phrase paraphrase tasks.

研究の動機と目的

• PPDB の限界、特にヒューリスティックな信頼度スコアとカバレッジの不完全性を解消するため、パrametricな言い換えモデルを構築すること。
• PPDB を事前学習リソースとして用いて、語とフレーズの埋め込みを改善し、意味的類似度タスクにおける性能を向上させること。
• 短フレーズの言い換えモデルを評価するための2つの新しい人間アノテート済みデータセット（Annotated-PPDB および ML-Paraphrase）を導入すること。
• 学習済みモデルを用いて、学習済み意味的類似度に基づいて言い換えペアを再ランク付けすることで、PPDB のカバレッジ拡張を可能にすること。
• アドディティブなアプローチと RNN を用いた構成手法の比較を行い、それらの有効性を新しいベンチマークおよび標準ベンチマークで評価すること。

提案手法

• PPDB の単語ペア上でスキップグラムのファインチューニングを行い、言い換え検出に最適化された 'paragram' 単語ベクトルを生成する。
• paragram ベクトルの加法的構成を用いてフレーズを埋め込み、フレーズ類似度をベクトルの加法として扱う。
• PPDB のフレーズペアを直接再帰的ニューラルネットワーク（RNN）で学習し、構成的フレーズ表現を学習する。
• コサイン類似度とネガティブサンプリングを訓練目的に適用し、ベクトルの質と一般化性能を向上させる。
• ハイパーパramータのチューニングとモデル性能の評価に、人間アノテート済みデータセット（Annotated-PPDB および ML-Paraphrase）を用いる。
• パラメトリックなベクトルを 300 ディメンションにスケーリングする際、事前学習済みの GloVe 埋め込みを用い、標準ベンチマークでの性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 PPDB を用いて、そのネイティブなヒューリスティック信頼度スコアを上回るパラメトリックな言い換えモデルを訓練できるか？
• RQ2 アドディティブなアプローチと RNN を用いた構成手法は、学習済み単語ベクトルからフレーズ埋め込みを生成するうえで、どの程度有効か？
• RQ3 提案されたモデルは、言い換えペアの再ランク付けを通じて、PPDB のカバレッジと正確性を向上させられるか？
• RQ4 新しい人間アノテート済みデータセットは、短フレーズの言い換えモデルを評価するための信頼できるベンチマークを提供するか？
• RQ5 高次元の paragram ベクトルは、語彙的類似度タスクで人間水準の性能を達成できるか？

主な発見

• 300次元の paragram ベクトルは、SimLex-999 および WS353 の語彙的類似度ベンチマークで人間水準の性能を達成する。
• Annotated-PPDB において、paragram ベクトルの加法的構成はより複雑な RNN モデルと同等の性能を示し、相関係数が 0.43 を記録する。
• ML-Paraphrase データセットにおいて、RNN を用いたモデルはアドディティブモデルを上回り、バイグラムレベルの言い換え関係をより良い精度でモデル化している。
• 学習済みモデルを用いて PPDB を再ランク付けすることで、元のヒューリスティックスコアと比較して人間の判断との相関が顕著に向上する。
• paragram 300,SL999 ベクトルは SL999 でスピアマン相関係数 0.640 を達成し、これまで報告された中で最高の結果である。
• 著者らは新しいデータセット、コード、および学習済みモデルを公開し、自然言語処理コミュニティにおける広範な利用と再現可能性を促進している。