[논문 리뷰] Match-SRNN: Modeling the Recursive Matching Structure with Spatial RNN

Shengxian Wan, Yanyan Lan외 4명|arXiv (Cornell University)|2016. 04. 15.

Topic Modeling참고 문헌 15인용 수 130

한 줄 요약

Match-SRNN 은 재귀적 매칭 구조를 통해 두 텍스트 간의 전역 상호작용을 모델링하고, 단어 수준 상호작용을 포착하기 위해 신경 텐서를 사용하며 이를 통합하기 위해 2D 공간 GRU 를 활용하여 QA 및 논문 인용 작업에서 최첨단 결과를 달성한다.

ABSTRACT

Semantic matching, which aims to determine the matching degree between two texts, is a fundamental problem for many NLP applications. Recently, deep learning approach has been applied to this problem and significant improvements have been achieved. In this paper, we propose to view the generation of the global interaction between two texts as a recursive process: i.e. the interaction of two texts at each position is a composition of the interactions between their prefixes as well as the word level interaction at the current position. Based on this idea, we propose a novel deep architecture, namely Match-SRNN, to model the recursive matching structure. Firstly, a tensor is constructed to capture the word level interactions. Then a spatial RNN is applied to integrate the local interactions recursively, with importance determined by four types of gates. Finally, the matching score is calculated based on the global interaction. We show that, after degenerated to the exact matching scenario, Match-SRNN can approximate the dynamic programming process of longest common subsequence. Thus, there exists a clear interpretation for Match-SRNN. Our experiments on two semantic matching tasks showed the effectiveness of Match-SRNN, and its ability of visualizing the learned matching structure.

연구 동기 및 목표

• 상호 작용을 더 잘 포착하기 위해 두 텍스트 간의 재귀적 프로세스로 의미 매칭의 필요성을 제시한다.
• 재귀적 매칭 구조를 모델링하기 위한 새로운 아키텍처(Match-SRNN)를 제안한다.
• 모델이 LCS와 같은 동적 프로그래밍을 근사할 수 있고 시각화를 통해 해석 가능성을 제공함을 보인다.
• 기준선과 비교하여 질문 응답 및 논문 인용 작업에서의 효과를 입증한다.

제안 방법

• 두 텍스트 간의 단어 수준 유사도 텐서를 신경 텐서 네트워크를 사용하여 구성한다.
• 유사도 텐서에 공간(2D) GRU를 적용하여 전역 상호작용 표현 h_{mn}을 계산한다.
• h_{i-1,j}, h_{i,j-1}, h_{i-1,j-1}, 그리고 s_{ij}로부터의 정보 흐름을 관리하기 위해 네 개의 게이트를 사용한다.
• 최종 매칭 점수를 선형 함수 M(S1,S2) = W^{(s)} h_{mn} + b^{(s)}로 산출한다.
• 회귀에는 제곱 손실, 순위 매김에는 힌지 손실, 분류에는 교차 엔트로피와 같은 작업에 적합한 손실로 엔드 투 엔드 학습한다.
• 게이트 기반 역추적에 의한 해석 가능성을 보이고 정확 매칭으로 축소 매칭하여 동적 프로그래밍 및 LCS 와의 이론적 연결을 강조하고, 해석 가능성을 보인다.

실험 결과

연구 질문

• RQ1 텍스트 매칭의 재귀적 형식이 계층적 접근법보다 장거리 상호작용을 더 잘 포착할 수 있는가?
• RQ2 단어 수준 상호작용 텐서 위의 공간 RNN이 전역 텍스트 상호작용을 효과적으로 모델링하고 QA 및 인용 매칭 성능을 향상시키는가?
• RQ3 퇴화될 때 Match-SRNN이 LCS와 같은 동적 프로그래밍 형식과 어떻게 관련되는가?
• RQ4 Match-SRNN은 해석 가능하여 학습된 매칭 구조의 시각화를 가능하게 하는가?
• RQ5 Match-SRNN의 두 가지 변형(단방향 및 양방향)이 의미 매칭 작업에서 성능 면에서 차이가 있는가?

주요 결과

모델	P@1 (QA)	MRR (QA)	정확도 (PC)
Random Guess	0.200	0.457	0.500
BM25	0.579	0.726	0.832
ARC-I	0.581	0.756	0.845
CNTN	0.626	0.781	0.862
LSTM-RNN	0.690	0.822	0.878
MultiGranCNN	0.725	0.840	0.885
MV-LSTM	0.766	0.869	0.890
ARC-II	0.591	0.765	0.865
MatchPyramid-Tensor	0.764	0.867	0.894
Match-SRNN	0.785	0.879	0.898
Bi-Match-SRNN	0.790	0.882	0.901

• Match-SRNN 은 QA 및 논문 인용 작업에서 기준선보다 현저히 우수하다.
• 양방향 Match-SRNN은 단방향 버전보다 결과를 더욱 향상시킨다.
• QA에서, Match-SRNN은 MV-LSTM보다 P@1을 약 3.1% 향상시키고 ARC-II 및 MatchPyramid보다 최소 3.4% 향상시킨다.
• QA에서 Bi-Match-SRNN은 평가된 모든 모델 중 가장 높은 점수(P@1 및 MRR)를 달성한다.
• PC에서 Match-SRNN이 최고 결과를 달성하지만 작업의 용이성으로 개선 폭은 작다.
• 모델은 학습된 매칭 구조를 시각화할 수 있으며 특정 설정에서 LCS와 유사한 매칭 경로를 드러낸다.