[論文レビュー] Sentence Modeling via Multiple Word Embeddings and Multi-level Comparison for Semantic Textual Similarity

Nguyen Tien Huy, Minh Le+2 more|arXiv (Cornell University)|May 21, 2018

Topic Modeling参考文献 27被引用数 6

ひとこと要約

本論文では、複数の事前学習済み単語埋め込みを組み合わせ、複数レベルの比較（単語-単語、単語-文、文-文）を採用することで、意味的テキスト類似度を向上させるニューラルネットワークモデル M-MaxLSTM-CNN を提案する。多様な単語埋め込みの統合と、マックスプーリングおよびLSTMを用いた文の符号化により、特徴工学や次元が一致する埋め込みを必要とせずに、STS BenchmarkおよびSICKデータセットで最先端の性能を達成した。

ABSTRACT

Different word embedding models capture different aspects of linguistic properties. This inspired us to propose a model (M-MaxLSTM-CNN) for employing multiple sets of word embeddings for evaluating sentence similarity/relation. Representing each word by multiple word embeddings, the MaxLSTM-CNN encoder generates a novel sentence embedding. We then learn the similarity/relation between our sentence embeddings via Multi-level comparison. Our method M-MaxLSTM-CNN consistently shows strong performances in several tasks (i.e., measure textual similarity, identify paraphrase, recognize textual entailment). According to the experimental results on STS Benchmark dataset and SICK dataset from SemEval, M-MaxLSTM-CNN outperforms the state-of-the-art methods for textual similarity tasks. Our model does not use hand-crafted features (e.g., alignment features, Ngram overlaps, dependency features) as well as does not require pre-trained word embeddings to have the same dimension.

研究の動機と目的

• 文の類似度タスクにおいて多様な言語的性質を捉えることを目的とし、複数の事前学習済み単語埋め込みを活用する。
• 単語の順序と文表現間の多段階的相互作用を統合することで、意味的テキスト類似度モデリングを向上させる。
• 類似度モデリングにおける手作業による特徴（アライメント、n-gram被覆、句構造など）への依存を排除する。
• 次元が異なる事前学習済み単語埋め込みを統一的なディープラーニングフレームワークで効果的に活用できるようにする。
• 転移学習や補助データへの微調整を必要とせず、STSおよびテキスト帰属関係タスクで最先端の性能を達成する。

提案手法

• モデルは、各単語に対して複数の事前学習済み単語埋め込みを処理する MaxLSTM-CNN エンコーダーを用い、多面的な表現に統合する。
• 畳み込み層を適用し、その後にマックスプーリングと双方向LSTMを適用することで、語順を保持しつつ文レベルの表現を符号化する。
• 多段階比較により、3つのレベル（単語-単語、単語-文、文-文）で類似度を計算し、包括的な相互作用を実現する。
• 文のペア間の類似度スコアを最適化するために、コントラスト損失を用いたエンドツーエンドの学習を実施する。
• 連結と畳み込みフィルタリングを通じて共同表現を学習することで、次元が異なる埋め込みをサポートする。
• 依存構造ツリー や n-gram 被覆などの固定サイズの埋め込みや事前処理特徴に依存しない。

実験結果

リサーチクエスチョン

• RQ1 次元や言語的性質が異なる複数の事前学習済み単語埋め込みを組み合わせることで、文の類似度モデリングが向上するか？
• RQ2 多段階比較（単語-単語、単語-文、文-文）は、単一レベルの比較よりも優れた性能を発揮するか？
• RQ3 手作業による特徴に依存しないで、最先端の結果を達成できるか？
• RQ4 複数の埋め込みの使用が OOV（未知語）のカバー率と全体の性能に与える影響は？
• RQ5 本モデルは、仮説同値性同定やテキスト帰属関係など、さまざまなNLPタスクに一般化しやすいか？

主な発見

• STS Benchmark データセットでは、M-MaxLSTM-CNN はピアソン相関 88.76、スピアマン相関 84.95 を達成し、以前の最先端手法を上回った。
• SICK-E テキスト帰属関係タスクでは 95.97% の精度を達成し、手作業による特徴に依存せず、強い一般化性能を示した。
• 5つの事前学習済み単語埋め込みを用いることで、語彙カバー率（|V|_avai）が向上し、STSB および MRPC データセットで顕著な性能向上が得られた。
• 語彙カバー率が向上しなかった場合（例：SICK-R）でも性能向上が見られたことから、複数埋め込みの統合による有効な学習が可能であることが示された。
• 転移学習を一切行わず、GloVe埋め込みのみを用いても、HCTI（STSBで78.4）を上回り、InferSent（SICK-Rで88.4）と同等の性能を達成した。
• 文-文比較のみに比べ、多段階比較が顕著に性能向上をもたらし、微細な意味的分析を要するタスクで顕著であった。