[論文レビュー] Predicting the Semantic Textual Similarity with Siamese CNN and LSTM

Elvys Linhares Pontes, Stéphane Huet+2 more|arXiv (Cornell University)|Oct 24, 2018

Topic Modeling被引用数 46

ひとこと要約

本論文は、CNNで局所的な語彙文脈を、LSTMでグローバルな文の文脈を用いて意味的テキスト類似性を予測するSiamese CNN+LSTMモデルを提示し、SICKデータセットで競争力のある結果を達成している。

ABSTRACT

Semantic Textual Similarity (STS) is the basis of many applications in Natural Language Processing (NLP). Our system combines convolution and recurrent neural networks to measure the semantic similarity of sentences. It uses a convolution network to take account of the local context of words and an LSTM to consider the global context of sentences. This combination of networks helps to preserve the relevant information of sentences and improves the calculation of the similarity between sentences. Our model has achieved good results and is competitive with the best state-of-the-art systems.

研究の動機と目的

• 情報検索やQAなどの応用領域で、STSを中核的なNLPタスクとして動機づける。
• CNNベースの局所文脈とLSTMベースのグローバルな文表現を組み合わせるニューラルアーキテクチャを提案する。
• 局所文脈が純粋なSiamese LSTMと比較してSTS予測を改善することを示す。
• SICKデータセットでモデルを評価し、最先端のベースラインと比較する。

提案手法

• 事前学習済みの語表現を一般的な語表現として使用する。
• 隣接語から各語の局所文脈を生成するためにSiamese CNNを適用する。
• 各語について、語嵌入とCNN由来の局所文脈を連結する。
• 豊富化された語表現の系列を処理するLSTMで文をエンコードする。
• 最終的な文表現間のマンハッタン距離を用いて文類似度を計算し、後処理回帰を適用して1–5のスコアにマッピングする。

実験結果

リサーチクエスチョン

• RQ1 Siamese CNNを介して局所的な語文脈を組み込むことは、プレーンなSiamese LSTMよりも意味的類似推定を改善するか？
• RQ2 異なる局所文脈ウィンドウサイズがSTSパフォーマンスに与える影響は？
• RQ3 提案モデルはSICKデータセット上の既存の最先端STSシステムとどのように比較されるか？

主な発見

方法	r	ρ	MSE
Siamese LSTM Mueller & Thyagarajan, 2016	0.8822	0.8345	0.2286
Siamese LSTM (publicly available version)	0.8500	0.7860	0.3017
Siamese #local context: 3 + Siamese LSTM	0.8536	0.7909	0.2915
Siamese #local context: 5 + Siamese LSTM	0.8549	0.7933	0.2898
Siamese #local context: 7 + Siamese LSTM	0.8540	0.7922	0.2911
Siamese #local context: 9 + Siamese LSTM	0.8533	0.7890	0.2923
Non-Linear Similarity Tsubaki et al., 2016	0.8480	0.7968	0.2904
Constituency Tree LSTM Tai et al., 2015	0.8582	0.7966	0.2734
Skip-thought+COCO (Kiros et al. 2015)	0.8655	0.7995	0.2561
Dependency Tree LSTM Tai et al., 2015	0.8676	0.8083	0.2532
ConvNets He et al., 2015	0.8686	0.8047	0.2606

• 局所文脈強化型Siameseモデルは、SICKで評価したときに相関指標と誤差でベースラインのSiamese LSTMを上回る。
• 短い局所文脈（3語）と長い文脈（7語、9語）は異なる利点をもたらし、5語の文脈が強い性能を提供する。
• 提案モデルはSTSタスクで木構造LSTMや畳み込みネットなど、いくつかの最先端アーキテクチャと比較して競争力のある結果を達成する。
• 表1は、いくつかのベースラインが公開Siamese LSTMを上回る一方、局所文脈変種が複数の指標でトップクラスの性能に達することを示す。