[논문 리뷰] Sentence Modeling via Multiple Word Embeddings and Multi-level Comparison for Semantic Textual Similarity

Nguyen Tien Huy, Minh Le외 2명|arXiv (Cornell University)|2018. 05. 21.

Topic Modeling참고 문헌 27인용 수 6

한 줄 요약

이 논문은 여러 사전 훈련된 단어 임베딩을 결합하고 다중 수준 비교(단어-단어, 단어-문장, 문장-문장)를 적용하여 의미적 텍스트 유사도를 향상시키는 신경망 모델 M-MaxLSTM-CNN을 제안한다. 다양한 단어 임베딩을 융합하고 최대 풀링 및 LSTM을 활용한 문장 인코딩을 통해, 수동으로 설계된 특징 또는 차원이 일치하는 임베딩이 필요 없이 STS Benchmark 및 SICK 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Different word embedding models capture different aspects of linguistic properties. This inspired us to propose a model (M-MaxLSTM-CNN) for employing multiple sets of word embeddings for evaluating sentence similarity/relation. Representing each word by multiple word embeddings, the MaxLSTM-CNN encoder generates a novel sentence embedding. We then learn the similarity/relation between our sentence embeddings via Multi-level comparison. Our method M-MaxLSTM-CNN consistently shows strong performances in several tasks (i.e., measure textual similarity, identify paraphrase, recognize textual entailment). According to the experimental results on STS Benchmark dataset and SICK dataset from SemEval, M-MaxLSTM-CNN outperforms the state-of-the-art methods for textual similarity tasks. Our model does not use hand-crafted features (e.g., alignment features, Ngram overlaps, dependency features) as well as does not require pre-trained word embeddings to have the same dimension.

연구 동기 및 목표

• 문장 유사도 작업에서 다양한 언어적 특성을 포괄적으로 포착하기 위해 다수의 사전 훈련된 단어 임베딩을 활용하는 것.
• 문장 표현 간의 단어 순서와 다중 수준 상호작용을 통합하여 의미적 텍스트 유사도 모델링을 향상시키는 것.
• 유사도 모델링에서 정렬, n-그램 겹침, 문법적 구조와 같은 수동으로 설계된 특징에 의존하지 않도록 하는 것.
• 다양한 차원을 가진 사전 훈련된 단어 임베딩을 통합된 딥 러닝 프레임워크에서 효과적으로 활용할 수 있도록 하는 것.
• 이식 학습 또는 보조 데이터에 대한 미세조정 없이도 STS 및 텍스트 함의 작업에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 모델은 각 단어에 대해 다수의 사전 훈련된 단어 임베딩을 처리하는 MaxLSTM-CNN 인코더를 사용하여 다각도 표현으로 통합한다.
• 문장 수준 표현을 인코딩하면서 단어 순서를 유지하기 위해 컨볼루션 레이어 이후 최대 풀링과 양방향 LSTM을 적용한다.
• 다중 수준 비교는 세 수준(단어-단어, 단어-문장, 문장-문장)에서의 유사도를 계산하여 포괄적인 상호작용을 가능하게 한다.
• 문장 쌍 간의 유사도 점수를 최적화하기 위해 대tric 손실 목적함수를 사용하여 엔드 투 엔드로 학습한다.
• 다양한 차원을 가진 단어 임베딩을 지원하기 위해 연결 및 컨볼루션 필터링을 통해 공동 표현을 학습한다.
• 의존성 구조나 n-그램 겹침과 같은 고정 크기의 임베딩이나 사전 처리된 특징에 의존하지 않는다.

실험 결과

연구 질문

• RQ1 다양한 언어적 특성을 지닌 여러 사전 훈련된 단어 임베딩을 결합하면 문장 유사도 모델링 성능이 향상되는가?
• RQ2 다중 수준 비교(단어-단어, 단어-문장, 문장-문장)가 단일 수준 비교보다 성능 향상에 기여하는가?
• RQ3 수동으로 설계된 특징에 의존하지 않고도 최신 기술 수준의 결과를 달성할 수 있는가?
• RQ4 다양한 임베딩을 사용할 경우 OOV(보편 어휘 외 단어)의 커버리지와 전체 성능에 어떤 영향을 미치는가?
• RQ5 다양한 NLP 작업(예: 동의어 식별, 텍스트 함의)에 대해 일반화 성능이 우수한가?

주요 결과

• STS Benchmark 데이터셋에서 M-MaxLSTM-CNN은 피어슨 상관계수 88.76과 스피어만 상관계수 84.95를 기록하여 이전 최신 기술 수준의 방법들을 능가했다.
• SICK-E 텍스트 함의 작업에서 모델은 95.97%의 정확도를 달성하여 수동으로 설계된 특징 없이도 강력한 일반화 성능을 입증했다.
• 다섯 개의 사전 훈련된 단어 임베딩을 사용함으로써 어휘 커버리지(|V|_avai)가 증가하여 STSB 및 MRPC 데이터셋에서 성능 향상이 뚜렷하게 나타났다.
• 어휘 커버리지가 증가하지 않은 경우(예: SICK-R)에도 성능 향상이 있었으며, 이는 다중 임베딩 융합을 통한 효과적인 학습이 가능함을 시사한다.
• 이식 학습 없이 GloVe 임베딩만을 사용하여 HCTI(88.4 on STSB)를 뛰어넘고 InferSent(88.4 on SICK-R)와 동등한 성능을 달성했다.
• 문장-문장 비교만을 사용하는 것보다 다중 수준 비교가 성능 향상에 크게 기여했으며, 특히 미세한 의미 분석이 필요한 작업에서 두드러진 성능 향상을 보였다.