[論文レビュー] Match-SRNN: Modeling the Recursive Matching Structure with Spatial RNN

Shengxian Wan, Yanyan Lan+4 more|arXiv (Cornell University)|Apr 15, 2016

Topic Modeling参考文献 15被引用数 130

ひとこと要約

Match-SRNN はニューロンのテンソルを用いた単語レベルの相互作用を捉え、2D 空間 GRU で統合する再帰的マッチング構造を通じて、QA および論文引用タスクで最先端の結果を達成する。

ABSTRACT

Semantic matching, which aims to determine the matching degree between two texts, is a fundamental problem for many NLP applications. Recently, deep learning approach has been applied to this problem and significant improvements have been achieved. In this paper, we propose to view the generation of the global interaction between two texts as a recursive process: i.e. the interaction of two texts at each position is a composition of the interactions between their prefixes as well as the word level interaction at the current position. Based on this idea, we propose a novel deep architecture, namely Match-SRNN, to model the recursive matching structure. Firstly, a tensor is constructed to capture the word level interactions. Then a spatial RNN is applied to integrate the local interactions recursively, with importance determined by four types of gates. Finally, the matching score is calculated based on the global interaction. We show that, after degenerated to the exact matching scenario, Match-SRNN can approximate the dynamic programming process of longest common subsequence. Thus, there exists a clear interpretation for Match-SRNN. Our experiments on two semantic matching tasks showed the effectiveness of Match-SRNN, and its ability of visualizing the learned matching structure.

研究の動機と目的

• 2つのテキスト間の再帰的プロセスとして意味的マッチングを動機づけ、相互作用をより良く捉える。
• 再帰的マッチング構造をモデル化する新規アーキテクチャ（Match-SRNN）を提案する。
• LCS のような動的計画法を近似でき、可視化を通じて解釈性を提供できることを示す。
• ベースラインと比較して質問応答タスクおよび論文引用タスクでの有効性を示す。

提案手法

• 2つのテキスト間の単語レベルの類似性テンソルをニューラルテンソルネットワークで構築する。
• 類似性テンソルに対して空間的（2D）GRU を適用し、グローバルな相互作用表現 h_{mn} を計算する。
• h_{i-1,j}, h_{i,j-1}, h_{i-1,j-1}, および s_{ij} からの情報フローを管理する4つのゲートを使用する。
• 最終的なマッチングスコアを線形関数 M(S1,S2) = W^{(s)} h_{mn} + b^{(s)} で生成する。
• タスクに適した損失関数でエンドツーエンドに訓練する（回帰は二乗損失、ランキングはヒンジ損失、分類はクロスエントロピー）。
• ゲート駆動の逆行による可視化を通じて最適化されたマッチング構造を再現可能性として示し、動的計画法および LCS への理論的接続を強調する。

実験結果

リサーチクエスチョン

• RQ1 再帰的なテキストマッチングの定式化は階層的アプローチより長距離の相互作用をよりうまく捉えられるか。
• RQ2 単語レベルの相互作用テンソル上の空間的 RNN はグローバルなテキスト相互作用を効果的にモデル化し、QA および引用マッチングの性能を向上させるか。
• RQ3 退化された場合、Match-SRNN はLongest Common Subsequence（LCS）などの動的計画法の定式化とどのように関連するか。
• RQ4 Match-SRNN は解釈可能で、学習されたマッチング構造の可視化を可能にするか。
• RQ5 2 つのバリアント（単方向および双方向）の Match-SRNN は意味マッチングタスクにおいて性能が異なるか。

主な発見

モデル	P@1 (QA)	MRR (QA)	Acc (PC)
Random Guess	0.200	0.457	0.500
BM25	0.579	0.726	0.832
ARC-I	0.581	0.756	0.845
CNTN	0.626	0.781	0.862
LSTM-RNN	0.690	0.822	0.878
MultiGranCNN	0.725	0.840	0.885
MV-LSTM	0.766	0.869	0.890
ARC-II	0.591	0.765	0.865
MatchPyramid-Tensor	0.764	0.867	0.894
Match-SRNN	0.785	0.879	0.898
Bi-Match-SRNN	0.790	0.882	0.901

• Match-SRNN は QA および論文引用タスクでベースラインを大幅に上回る。
• 双方向の Match-SRNN は単方向版より結果をさらに向上させる。
• QA では Match-SRNN は MV-LSTM より約 3.1% の P@1、ARC-II および MatchPyramid より少なくとも 3.4% の向上。
• QA では Bi-Match-SRNN が全モデルの中で最高スコア（P@1 および MRR）を達成。
• PC では Match-SRNN が最高の結果を達成するが、タスクの難易度が低い分改善幅は小さい。
• 学習したマッチング構造を可視化でき、特定の設定下で LCS に似たマッチング経路を明らかにすることができる。