[논문 리뷰] Towards Universal Paraphrastic Sentence Embeddings

John Wieting, Mohit Bansal외 2명|arXiv (Cornell University)|2015. 11. 25.

Topic Modeling참고 문헌 64인용 수 117

한 줄 요약

이 논문은 파라프라즈 데이터베이스(PPDB)에서 훈련된 워드 벡터의 평균을 취하는 간단하지만 매우 효과적인 방법을 제안하여, 교차 도메인 텍스트 유사도 및 함의 작업에서 최신 기술 수준의 성능을 달성한다. 단순한 구조임에도 불구하고, 이 모델은 도메인 외부 데이터에서 복잡한 LSTMs를 능가하며, 작업별 최적화된 시스템과 맞먹거나 뛰어나, 신경망 아키텍처를 필요로 하지 않는 유니버설 문장 임베딩의 새로운 기준을 설정한다.

ABSTRACT

We consider the problem of learning general-purpose, paraphrastic sentence embeddings based on supervision from the Paraphrase Database (Ganitkevitch et al., 2013). We compare six compositional architectures, evaluating them on annotated textual similarity datasets drawn both from the same distribution as the training data and from a wide range of other domains. We find that the most complex architectures, such as long short-term memory (LSTM) recurrent neural networks, perform best on the in-domain data. However, in out-of-domain scenarios, simple architectures such as word averaging vastly outperform LSTMs. Our simplest averaging model is even competitive with systems tuned for the particular tasks while also being extremely efficient and easy to use. In order to better understand how these architectures compare, we conduct further experiments on three supervised NLP tasks: sentence similarity, entailment, and sentiment classification. We again find that the word averaging models perform well for sentence similarity and entailment, outperforming LSTMs. However, on sentiment classification, we find that the LSTM performs very strongly-even recording new state-of-the-art performance on the Stanford Sentiment Treebank. We then demonstrate how to combine our pretrained sentence embeddings with these supervised tasks, using them both as a prior and as a black box feature extractor. This leads to performance rivaling the state of the art on the SICK similarity and entailment tasks. We release all of our resources to the research community with the hope that they can serve as the new baseline for further work on universal sentence embeddings.

연구 동기 및 목표

• 다양한 NLP 도메인으로의 효과적인 전이가 가능한 일반 목적의 파라프라스틱 문장 임베딩을 개발하기 위해.
• 간단한 평균화에서 LSTMs에 이르기까지 다양한 조합 아키텍처의 성능을 도메인 내 및 도메인 외부 텍스트 유사도 작업에서 평가하기 위해.
• 간단한 비신경망 모델이 제로샷 또는 희소한 전이 설정에서 복잡한 신경망 아키텍처를 능가할 수 있는지 확인하기 위해.
• 미리 훈련된 문장 임베딩이 유사도, 함의, 감성 분류와 같은 후속 NLP 작업의 성능을 향상시킬 수 있음을 보여주기 위해.
• 미래 연구를 가속화하기 위해 유니버설 문장 임베딩의 새로운 접근 가능 기준을 공개하기 위해.

제안 방법

• 파라프라즈 데이터베이스(PPDB)에서 학습된 워드 벡터의 평균을 취함으로써 문장 임베딩을 훈련하며, 워드 벡터 외에 추가적인 조합 파rameter는 없음.
• paragram-sl999 워드 임베딩의 수정 버전을 사용하여, PPDB의 어절 쌍에서 백프로파게이션을 통해 paragram-phrase 임베딩을 미세조정.
• 각 워드 벡터에 대해 해당 paragram-phrase 임베딩의 L2 노름을 기반으로 학습된 곱셈 가중치를 적용하여 중요한 내용어를 강조.
• 전이 가능성과 강건성을 평가하기 위해 도메인 내(SICK) 및 도메인 외부(22개 SemEval STS) 데이터셋에서 모델 평가.
• 유사도, 함의, 감성 분류 작업에서 지도 학습 모델에 사전 지식 또는 고정된 특징 추출기로 사용하기 위해 사전 훈련된 문장 임베딩을 조합.
• 파라프라즈 검출 및 텍스트 유사도 평가의 주요 지표로 문장 임베딩 간 코사인 유사도 사용.

실험 결과

연구 질문

• RQ1 간단한 워드 평균화 모델이 교차 도메인 문장 유사도 전이에서 LSTMs와 같은 복잡한 신경망 아키텍처를 능가할 수 있는가?
• RQ2 파라프라즈 데이터에서 훈련된 문장 임베딩의 성능은 뉴스, 트윗, 이미지 캡션과 같은 다양한 도메인으로 어떻게 일반화되는가?
• RQ3 평균화 프레임워크 내에서 워드 벡터 조합성을 학습하는 것이, 단순히 사전 훈련된 워드 벡터를 평균화하는 것보다 얼마나 성능 향상에 기여하는가?
• RQ4 유니버설 문장 임베딩이 함의 및 감성 분류와 같은 지도 학습 NLP 작업에서 효과적인 사전 지식 또는 특징 추출기로 기능할 수 있는가?
• RQ5 임베딩 노름에서 유도된 워드 중요도 가중치가 문장 표현 품질 향상에 어떤 역할을 하는가?

주요 결과

• 단순한 워드 평균화 모델은 평균적으로 22개의 SemEval STS 데이터셋에서 피어슨의 $r$ 값 66.83을 기록했으며, LSTMs보다 평균 16.5점 높은 성능을 보였다.
• paragram-phrase 임베딩은 2012년부터 2015년까지의 모든 SemEval STS 작업에서 상위 25퍼센트 이내에 위치했으며, 네 개의 데이터셋에서 최고 또는 공동 최고 성능을 기록했다.
• 평균적으로 GloVe보다 17.1점, paragram-sl999보다 12.8점 향상된 성능을 기록했으며, 이는 평균적으로 평균화된 임베딩보다 뛰어났다.
• paragram-phrase 벡터의 L2 노름에서 유도된 학습된 곱셈 가중치는 raw paragram-sl999 임베딩 대비 최소 64.76%의 성능 향상 기여를 했다.
• 스탠퍼드 감성 트리뱅크에서 LSTM 모델은 굵은 감성 분류 작업에서 새로운 최고 성능인 89.2%의 정확도를 기록했으며, 이 특정 작업에서는 평균화 모델을 능가했다.
• 고정된 특징 추출기 또는 사전 지식으로 사용되었을 때, 사전 훈련된 문장 임베딩는 SICK 유사도 및 함의 작업에서 최신 기술 수준의 모델과 경쟁 가능한 성능을 기록했다.