[論文レビュー] Sentence Similarity Learning by Lexical Decomposition and Composition

Zhiguo Wang, Haitao Mi+1 more|arXiv (Cornell University)|Feb 23, 2016

Topic Modeling参考文献 13被引用数 163

ひとこと要約

本論文は、語彙ベクトルを類似部と非類似部に分解し、意味的マッチングを用いて、それらを二-channel CNNで組み合わせて文の類似度を予測し、回答文選択で最先端の結果を達成し、パラフレーズ識別でも競争力のある結果を得るモデルを提案します。

ABSTRACT

Most conventional sentence similarity methods only focus on similar parts of two input sentences, and simply ignore the dissimilar parts, which usually give us some clues and semantic meanings about the sentences. In this work, we propose a model to take into account both the similarities and dissimilarities by decomposing and composing lexical semantics over sentences. The model represents each word as a vector, and calculates a semantic matching vector for each word based on all words in the other sentence. Then, each word vector is decomposed into a similar component and a dissimilar component based on the semantic matching vector. After this, a two-channel CNN model is employed to capture features by composing the similar and dissimilar components. Finally, a similarity score is estimated over the composed feature vectors. Experimental results show that our model gets the state-of-the-art performance on the answer sentence selection task, and achieves a comparable result on the paraphrase identification task.

研究の動機と目的

• 語彙を文脈依存の埋め込みで表現することにより、語彙間のギャップを埋める。
• 意味成分を分解することにより、単語・句・構文など複数の粒度で類似性を捉える。
• 文の対の非類似部を明示的にモデル化して、類似性評価を改善する。
• 類似部と非類似部の成分をCNNベースの特徴組み合わせで統合して類似度を予測する。

提案手法

• 各語を事前学習済みword2vec埋め込みを用いて300次元ベクタとして表現する。
• 他方の文の語への類似性を集約して、セマンティックマッチングベクトルを各語ごとに計算する（グローバル、ローカル、または最大ベースのいずれかのマッチング関数）。
• 各語ベクトルを類似部と非類似部に、剛性・線形・直交法計などを用いて分解する。
• 類似部と非類似部の行列を二-channel CNNに入力し、ユニグラム・バイグラム・トライグラムフィルタで特徴ベクトルを生成する。
• 2つの特徴ベクトルを連結し、線形-シグモイド類似度予測子を適用する。
• Adam最適化を用いて尤度を最大化することで、エンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 2つの文の間の類似性と非類似性をどのように効果的にモデリングできるか。
• RQ2 文脈依存の語表現と意味的マッチングによって語彙ギャップを埋められるか。
• RQ3 語を類似部と非類似部に分解することは、単一チャネル表現より文の類似性タスクを改善するか。
• RQ4 decomposed componentsに対する多階層のCNN特徴が、QAとパラフレーズデータセットで既存モデルを上回るか。

主な発見

• QASentデータセットの回答文選択でMAPの最先端を達成。
• QASentでのMRRが競争力があり、WikiQAでもCNNベースおよび注意機構ベースのモデルと比較して高い性能を示す。
• 類似性と非類似性の両方を分解と二-channel CNNで取り入れることで、いくつかのベースラインを上回る。
• 局所的意味マッチング（local-w）と直交分解が堅牢な性能を示す。
• 三文字以上の高次のn-gramは必ずしも性能を向上させず、トライグラムフィルタが設定内で最良の結果を提供する。