[논문 리뷰] Learning Semantic Sentence Embeddings using Sequential Pair-wise Discriminator

Badri N. Patro, Vinod K Kurmi외 2명|arXiv (Cornell University)|2018. 06. 03.

Topic Modeling참고 문헌 53인용 수 22

한 줄 요약

이 논문은 진정한 대체문장 쌍을 더 가까이, 관련 없는 쌍을 더 멀리 끌어들이는 공유 가중치 쌍별 식별자로 강화된 순차적 인코더-디코더 아키텍처를 사용하여 의미 문장 임베딩을 학습하는 새로운 방법을 제안한다. 이 방법은 표준 벤치마크에서 기존 방법보다 유의미한 격차로 우수한 성능을 기록하며, 대체문장 생성 및 감성 분석 작업 모두에서 최신 기술 수준(SOTA)을 달성한다.

ABSTRACT

In this paper, we propose a method for obtaining sentence-level embeddings. While the problem of securing word-level embeddings is very well studied, we propose a novel method for obtaining sentence-level embeddings. This is obtained by a simple method in the context of solving the paraphrase generation task. If we use a sequential encoder-decoder model for generating paraphrase, we would like the generated paraphrase to be semantically close to the original sentence. One way to ensure this is by adding constraints for true paraphrase embeddings to be close and unrelated paraphrase candidate sentence embeddings to be far. This is ensured by using a sequential pair-wise discriminator that shares weights with the encoder that is trained with a suitable loss function. Our loss function penalizes paraphrase sentence embedding distances from being too large. This loss is used in combination with a sequential encoder-decoder network. We also validated our method by evaluating the obtained embeddings for a sentiment analysis task. The proposed method results in semantic embeddings and outperforms the state-of-the-art on the paraphrase generation and sentiment analysis task on standard datasets. These results are also shown to be statistically significant.

연구 동기 및 목표

• 관련 문장 간의 의미 유사성을 포착하는 문장 수준의 의미 임베딩을 학습하는 지도 학습 방법을 개발하는 것.
• 전체 손실 신호를 통해 생성된 대체문장이 원본 문장과 의미적으로 유사하도록 보장하여 대체문장 생성을 향상시키는 것.
• 감성 분석과 같은 후행 NLP 작업에서 학습된 임베딩의 유용성을 검증하는 것.
• 제안된 방법이 대체문장 생성 및 감성 분류 모두에서 기존 최신 기술 수준의 접근 방식을 능가하는가를 입증하는 것.

제안 방법

• 모델은 생성자와 식별자 양쪽에서 공유되는 인코더를 갖는 공유 가중치 LSTM 인코더-디코더 아키텍처를 사용하여 시퀀스 생성을 수행한다.
• 쌍별 식별자가 문장 수준의 임베딩을 계산하고, 진정한 대체문장 쌍 간의 거리를 최소화하고 관련 없는 문장 쌍 간의 거리를 최대화하는 전역 손실을 강제한다.
• 손실 함수는 실제 대체문장 임베딩 간의 거리가 크지 않도록 페널티를 주어 생성 출력의 의미 일致성을 확보한다.
• 모델은 시퀀스 생성을 위한 국소(자기회귀적) 손실과 의미 정렬을 위한 전역(쌍별) 손실의 조합을 사용하여 공동으로 훈련된다.
• 감성 분석 미세조정 중에는 단어 임베딩이 동결되고 문장 표현이 로지스틱 회귀 분류기로 입력된다.
• 최적화를 위한 하이퍼파라미터(RMSProp)는 학습률 0.00009, 배치 크기 200, alpha 및 epsilon의 표준 값으로 조정된다.

실험 결과

연구 질문

• RQ1 쌍별 식별자는 순차적-시퀀스 생성 프레임워크 내에서 문장 임베딩의 의미 품질을 향상시킬 수 있는가?
• RQ2 의미 유사성 기반 전역 손실을 도입하면 국소 생성 손실만 사용하는 것보다 대체문장 생성 성능이 향상되는가?
• RQ3 학습된 문장 임베딩은 감성 분석과 같은 후행 작업으로 일반화될 수 있는가?
• RQ4 제안된 방법은 표준 벤치마크에서 기존 최신 기술 수준의 방법보다 통계적으로 우월한가?

주요 결과

• 감성 분석 작업에서 기준 백오프 워드 및 n-gram 모델 대비 15.7%p의 절대 오차율 향상을 기록했다.
• Rotten Tomatoes 테스트 세트에서 정확도 62.606%를 기록하여 이전 최신 기술 수준의 방법을 능가했다.
• BLEU, METEOR, TER 지표 모두에서 뛰어난 성능을 보였으며, 추론 실험을 통해 쌍별 식별자의 효과가 입증되었다.
• 임베딩은 미묘한 감성 변화를 잘 포착하여 유사한 표현에서 부정적 감성과 긍정적 감성 간의 구분을 정확히 수행했다.
• 통계적 유의성 검정을 통해 성능 향상가 랜덤 변동의 영향을 받지 않았음을 확인했다.
• 시각화 결과 모델이 관련 의미 구문에 주의를 기울이고 있음을 보여주어 구문 수준에서 의미를 잘 포착하는 데에 강건함을 입증했다.