[論文レビュー] Discriminative Phrase Embedding for Paraphrase Identification

Wenpeng Yin, Hinrich Schütze|arXiv (Cornell University)|Apr 2, 2016

Natural Language Processing Techniques被引用数 3

ひとこと要約

本稿では、埋め込み空間内のk近傍法を用いて未知語彙単位を処理するように拡張したTF-KLD-KNNという判別的重み付け方式を提案する。また、連続的および不連続的フレーズ埋め込みの共同学習を導入している。これらの手法を、コサイン類似度、要素ごとの和、差分特徴を用いた重み付き文ベクトル和と組み合わせることで、MSRPの類似文同定ベンチマークで最先端の性能を達成し、前人最高のシステムからF1スコアで最大0.052の向上を達成した。

ABSTRACT

This work, concerning paraphrase identification task, on one hand contributes to expanding deep learning embeddings to include continuous and discontinuous linguistic phrases. On the other hand, it comes up with a new scheme TF-KLD-KNN to learn the discriminative weights of words and phrases specific to paraphrase task, so that a weighted sum of embeddings can represent sentences more effectively. Based on these two innovations we get competitive state-of-the-art performance on paraphrase identification.

研究の動機と目的

• 単一の語を超えて連続的および不連続的フレーズを組み込むことで、類似文同定のための文表現を向上させること。
• 特徴重み付けにおけるデータスパarsityを解消するため、埋め込み空間内のk近傍法を用いて未知単位にTF-KLDを拡張すること。
• 強化された文ベクトル構成と特徴工学を用いて、MSRP類似文同定データセットで最先端の性能を達成すること。
• 類似文同定の文脈において、言語学的フレーズ検出法と統計的フレーズ検出法の有効性を評価すること。

提案手法

• ウィキペディアとWordNetからの大規模な語彙ベースのフレーズコレクションを用いて、単語、連続的フレーズ（例：'side effects'）、不連続的フレーズ（例：'pick ... off'）の分散表現を学習する。
• 共起統計に基づくヒューリスティックを適用して、フレーズを連続的または不連続的と分類する。
• TF-KLD-KNNを提案：未知単位の重みを、埋め込み空間内でのコサイン類似度を用いたk番目の近隣単位の重みの平均として計算する再重み付け方式。
• 文を、TF-KLD-KNNから得られる重み付き単位埋め込みの和として表現し、3種類の文ペア特徴（コサイン類似度、要素ごとの和、絶対値差分）を計算する。
• これらの学習済み特徴を標準的な機械翻訳メトリクス（MT特徴）と組み合わせ、線形SVMによる分類を訓練する。
• 比較のため、word2vecのskip-gramとword2phraseを用いて統計的フレーズ埋め込みを生成する。

実験結果

リサーチクエスチョン

• RQ1 連続的および不連続的フレーズの組み込みが、類似文同定のための文表現を向上させることができるか？
• RQ2 TF-KLD-KNNが、判別的特徴重み付けの文脈において、未知語彙単位を効果的に処理できるか？
• RQ3 言語学的フレーズが統計的フレーズよりも類似文同定で優れた性能を発揮するか？
• RQ4 コサイン、和、差分の組み合わせ特徴は、個別の特徴よりも性能をどの程度向上させるか？

主な発見

• TF-KLD-KNN重み付けを用いたWORD+PHRASEは、全体のMSRPデータセットでF1スコア0.848を達成し、MTベースライン（p < 0.05）を著しく上回った。
• より小さなサブセットでは、WORD+PHRASEはF1スコア0.857を達成し、MTベースラインを0.028、次善のシステムを0.008上回った。
• TF-KLD-KNNは、すべての再重み付け方式の中で最高の性能（F1 = 0.848）を達成し、TF-IDF（F1 = 0.821）とTF-KLD（F1 = 0.842）を上回った。
• 未知単位に対するKNNベースの再重み付け方式は、ゼロ、タイプ平均、コンテキスト平均のベースラインを上回り、データスパarsityの処理における有効性を裏付けた。
• 統計的フレーズ（word2vecから得た）を用いたWORD+GOOGLEは、WORD+PHRASEよりわずかに性能が低く、このタスクでは言語学的フレーズが統計的フレーズよりも効果的であることを示唆した。
• WORD+PHRASEの全体とサブセットの結果の差は、フレーズを含まない文ではフレーズコンテンツが欠落していることによるものであり、フレーズ埋め込みはフレーズが存在する場合にのみ有効であると説明できる。