[논문 리뷰] Learning Semantic Sentence Embeddings using Pair-wise Discriminator.

Badri N. Patro, Vinod K Kurmi외 2명|arXiv (Cornell University)|2018. 06. 03.

Topic Modeling참고 문헌 37인용 수 11

한 줄 요약

이 논문은 순차적 인코더-디코더 모델과 동일한 가중치를 공유하는 쌍별 판별자(pair-wise discriminator)를 사용하여 의미 문장 임베딩을 학습하는 새로운 방법을 제안한다. 진짜 대체문장(의미적으로 유사한 문장 쌍)과 비유사 문장 쌍을 구분하도록 판별자를 훈련시킴으로써, 모델은 밀도 높고 의미적으로 유의미한 문장 임베딩을 학습하게 되며, 이는 의미적 유사성 분석 및 대체문장 생성 작업에서 기존 최고 수준의 방법들을 통계적으로 유의미하게 능가한다.

ABSTRACT

In this paper, we propose a method for obtaining sentence-level embeddings. While the problem of securing word-level embeddings is very well studied, we propose a novel method for obtaining sentence-level embeddings. This is obtained by a simple method in the context of solving the paraphrase generation task. If we use a sequential encoder-decoder model for generating paraphrase, we would like the generated paraphrase to be semantically close to the original sentence. One way to ensure this is by adding constraints for true paraphrase embeddings to be close and unrelated paraphrase candidate sentence embeddings to be far. This is ensured by using a sequential pair-wise discriminator that shares weights with the encoder that is trained with a suitable loss function. Our loss function penalizes paraphrase sentence embedding distances from being too large. This loss is used in combination with a sequential encoder-decoder network. We also validated our method by evaluating the obtained embeddings for a sentiment analysis task. The proposed method results in semantic embeddings and outperforms the state-of-the-art on the paraphrase generation and sentiment analysis task on standard datasets. These results are also shown to be statistically significant.

연구 동기 및 목표

• 단어 수준의 임베딩에 비해 문장 수준의 의미 임베딩을 학습하는 데 있어 강건한 방법의 부족을 해결하기 위해.
• 원본 문장과 대체문장 간의 의미 유사성을 강제로 부여하여 생성된 대체문장의 의미 품질을 향상시키기 위해.
• 공유된 인코더와 쌍별 판별자를 사용하여 문장 임베딩 품질과 대체문장 생성을 동시에 최적화하는 훈련 프레임워크를 개발하기 위해.
• 의미 분석과 같은 하류 NLP 작업에서 제안된 임베딩의 효과성을 검증하기 위해.

제안 방법

• 대체문장을 생성하기 위해 순차적 인코더-디코더 모델을 사용하며, 인코더가 문장 수준의 임베딩을 생성한다.
• 쌍별 판별자는 인코더와 동일한 가중치를 공유하며, 진짜 대체문장 쌍과 부정적(비유사) 문장 쌍을 구분하도록 훈련된다.
• 판별자는 진짜 대체문장 쌍 간의 임베딩 거리가 크지 않게 하는 콘트라스트 손실 함수를 사용한다. 이는 의미적 유사성을 장려한다.
• 손실 함수는 의미적으로 관련된 문장의 임베딩을 임베딩 공간에서 더 가까이 모으고, 관련이 없는 쌍은 서로 멀어지게 한다.
• 전체 시스템은 인코더-디코더와 쌍별 판별자가 동시에 생성 및 의미 정렬을 최적화하도록 엔드 투 엔드로 훈련된다.
• 임베딩 품질 평가를 위해 표준 대체문장 생성 및 감성 분석 데이터셋에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 콘트라스트 손실 함수로 훈련된 쌍별 판별자가 대체문장 생성 설정에서 문장 임베딩의 의미 품질을 향상시킬 수 있는가?
• RQ2 제안된 방법은 의미적으로 정확한 대체문장을 생성하는 데 있어 최고 수준의 기존 방법들과 비교해 어떻게 성능을 내는가?
• RQ3 학습된 문장 임베딩이 의미 분석과 같은 하류 작업으로 일반화되는 정도는 어느 정도인가?
• RQ4 여러 평가 기준에서 성능 향상이 통계적으로 유의미한가?

주요 결과

• 제안된 방법은 대체문장 생성 작업에서 최고 수준의 성능을 달성하였으며, 기존 방법들보다 통계적으로 유의미한 향상을 보였다.
• 학습된 문장 임베딩는 의미 분석 작업으로 잘 일반화되어 표준 벤치마크 데이터셋에서 이전 방법들을 능가했다.
• 쌍별 판별자는 진짜 대체문장 쌍에 대해 임베딩 거리를 최소화함으로써 원본 문장과 대체문장 간의 의미 유사성을 효과적으로 강제하였다.
• 인코더-디코더와 판별자의 공동 훈련은 더 견고하고 의미적으로 유의미한 문장 표현을 도출하는 데 기여했다.