[논문 리뷰] Sentence Similarity Learning by Lexical Decomposition and Composition

Zhiguo Wang, Haitao Mi외 1명|arXiv (Cornell University)|2016. 02. 23.

Topic Modeling참고 문헌 13인용 수 163

한 줄 요약

이 논문은 의미 매칭을 사용하여 단어 벡터를 유사한 부분과 비유사한 부분으로 분해한 다음, 이를 두 채널 CNN으로 구성하여 문장 유사도를 예측하는 모델을 제안한다. 이를 통해 답변 문장 선택에서 최첨단 성과를 달성하고 패러프레이즈 식별에서도 경쟁력 있는 성과를 보인다.

ABSTRACT

Most conventional sentence similarity methods only focus on similar parts of two input sentences, and simply ignore the dissimilar parts, which usually give us some clues and semantic meanings about the sentences. In this work, we propose a model to take into account both the similarities and dissimilarities by decomposing and composing lexical semantics over sentences. The model represents each word as a vector, and calculates a semantic matching vector for each word based on all words in the other sentence. Then, each word vector is decomposed into a similar component and a dissimilar component based on the semantic matching vector. After this, a two-channel CNN model is employed to capture features by composing the similar and dissimilar components. Finally, a similarity score is estimated over the composed feature vectors. Experimental results show that our model gets the state-of-the-art performance on the answer sentence selection task, and achieves a comparable result on the paraphrase identification task.

연구 동기 및 목표

• 맥락 인식 임베딩으로 단어를 표현하여 어휘 간 간극을 해소한다.
• 의미 구성요소를 분해해 다중 수준의 해상도(단어, 구, 구문)에서 유사성을 포착한다.
• 문장 쌍의 비유사 부분을 명시적으로 모델링하여 유사도 평가를 개선한다.
• CNN 기반 특징 조합을 통해 유사한 부분과 비유사한 부분을 결합하여 유사도를 예측한다.

제안 방법

• 사전 학습된 word2vec 임베딩을 사용해 각 단어를 300차원 벡터로 표현한다.
• 다른 문장의 단어와의 유사도들을(전역/로컬 또는 최대 기반으로) 집계하여 각 단어에 대한 의미 매칭 벡터를 계산한다(매칭 함수와 같이).
• 각 단어 벡터를 굳건한(Rigid), 선형(linear) 또는 직교(orthogonal) 방식으로 유사한 부분과 비유사한 부분으로 분해한다.
• 유사 및 비유사 성분 행렬을 unigram, bigram, trigram 필터를 갖춘 두 채널 CNN에 입력해 특징 벡터를 생성한다.
• 두 특징 벡터를 연결(concatenate)하고 선형-시그모이드 유사도 예측기를 적용한다.
• Adam 최적화를 사용해 우도 최대화로 엔드투엔드 학습한다.

실험 결과

연구 질문

• RQ1 두 문장 간의 유사성과 비유사성을 효과적으로 어떻게 모델링할 수 있는가?
• RQ2 맥락 인식 단어 표현과 의미 매칭으로 어휘 간 간극을 좁힐 수 있는가?
• RQ3 단일 채널 표현보다 단어를 유사/비유사 부분으로 분해하는 것이 문장 유사도 작업을 향상시키는가?
• RQ4 분해된 구성 요소에 대한 다중 해상도 CNN 특징이 QA 및 패러프레이즈 데이터셋에서 기존 모델을 능가하는가?

주요 결과

• QASent 데이터셋에서 답변 문장 선택에 대해 최첨단 MAP를 달성했다.
• CNN 기반 및 어텐션 기반 모델과 비교해 QASent에서 경쟁력 있는 MRR을 달성하고 WikiQA에서도 강력한 성과를 보였다.
• 분해와 이중 채널 CNN을 통한 유사성과 비유사성의 결합으로 여러 기초선을 능가했다.
• 로컬 시맨틱 매칭(local-w)과 직교 분해가 견고한 성능을 낳는다는 것을 보여준다.
• 트리그램을 넘는 고차수 n-그램이 항상 성능을 향상시키는 것은 아니며, 그들의 설정에서 트라이그램 필터가 최상의 결과를 제공한다.