[논문 리뷰] Predicting the Semantic Textual Similarity with Siamese CNN and LSTM

Elvys Linhares Pontes, Stéphane Huet외 2명|arXiv (Cornell University)|2018. 10. 24.

Topic Modeling인용 수 46

한 줄 요약

논문은 지역 단어 맥락을 CNN으로, 전 문장 맥락을 LSTM으로 활용하여 시맨틱 텍스트 유사성(STS)을 예측하는 Siamese CNN+LSTM 모델을 제시하고, SICK 데이터셋에서 경쟁력 있는 성과를 보인다.

ABSTRACT

Semantic Textual Similarity (STS) is the basis of many applications in Natural Language Processing (NLP). Our system combines convolution and recurrent neural networks to measure the semantic similarity of sentences. It uses a convolution network to take account of the local context of words and an LSTM to consider the global context of sentences. This combination of networks helps to preserve the relevant information of sentences and improves the calculation of the similarity between sentences. Our model has achieved good results and is competitive with the best state-of-the-art systems.

연구 동기 및 목표

• 정보 검색 및 QA와 같은 응용에서 STS를 핵심 NLP 과제로 동기 부여한다.
• CNN 기반 지역 맥락과 LSTM 기반 글로벌 문장 표현을 결합하는 신경망 구조를 제안한다.
• 지역 맥락이 순수 Siamese LSTM 대비 STS 예측을 향상시킨다는 것을 보여준다.
• SICK 데이터셋에서 모델을 평가하고 최첨단 Baselines와 비교한다.

제안 방법

• 일반 어휘 표현으로 사전 학습된 단어 임베딩을 사용한다.
• Siamese CNN을 적용하여 이웃 단어로부터 각 단어의 지역 맥 context를 생성한다.
• 각 단어에 대해 단어 임베딩과 CNN으로 도출된 지역 맥 context를 연결한다.
• enriched 단어 표현의 시퀀스를 처리하는 LSTM으로 문장을 인코딩한다.
• 최종 문장 표현 간의 Manhattan 거리로 문장 유사성을 계산하고 1–5 점으로 매핑하기 위한 사후 회귀를 적용한다.

실험 결과

연구 질문

• RQ1 Siamese CNN을 통해 로컬 단어 맥<context>를 도입하는 것이Plain Siamese LSTM 대비 의미적 유사도 추정에 개선을 가져올 수 있는가?
• RQ2 STS 성능에 서로 다른 로컬 맥 context 윈도우 크기가 미치는 영향은 무엇인가?
• RQ3 제안된 모델이 SICK 데이터셋에서 기존 최강 STS 시스템과 어떻게 비교되는가?

주요 결과

• 지역 맥 context가 강화된 Siamese 모델이 SICK에서 평가될 때 상관 지표 및 오차에서 Baseline Siamese LSTM보다 개선된다.
• 짧은 지역 맥(context) 3단, 긴 맥/context 7, 9 단이 각각 다른 이점을 제공하며 5단_CONTEXT가 강력한 성능을 보인다.
• 제안된 모델은 STS 작업에서 트리 기반 LSTM, 컨볼루션 네트워크 등 여러 최첨단 아키텍처에 비해 경쟁력 있는 결과를 달성한다.
• Table 1은 여러 Baseline이 공개된 Siamese LSTM보다 우수하지 못한 반면, 지역 맥/context 변형은 여러 지표에서 최상위 성능에 도달한다.