[논문 리뷰] Towards Diverse Paraphrase Generation Using Multi-Class Wasserstein GAN

Zhecheng An, Sicong Liu|arXiv (Cornell University)|2019. 09. 30.

Topic Modeling참고 문헌 20인용 수 9

한 줄 요약

이 논문은 학습 가능한 패턴 임베딩을 조건으로 삼아 다수의 의미적으로 유사하지만 언어적으로 다양한 번역문을 생성할 수 있는 다중 클래스 워샤프스키 GAN(MC-WGAN)을 사용하는 다양한 번역문 생성 모델을 제안한다. 긍정 및 부정 샘플을 모두 활용한 적대적 훈련을 통해 모델은 유창성과 관련성을 향상시키며, Quora 및 MSCOCO 데이터셋에서 자동 평가 및 인간 평가 모두에서 최신 기술을 능가한다.

ABSTRACT

Paraphrase generation is an important and challenging natural language processing (NLP) task. In this work, we propose a deep generative model to generate paraphrase with diversity. Our model is based on an encoder-decoder architecture. An additional transcoder is used to convert a sentence into its paraphrasing latent code. The transcoder takes an explicit pattern embedding variable as condition, so diverse paraphrase can be generated by sampling on the pattern embedding variable. We use a Wasserstein GAN to align the distributions of the real and generated paraphrase samples. We propose a multi-class extension to the Wasserstein GAN, which allows our generative model to learn from both positive and negative samples. The generated paraphrase distribution is forced to get closer to the positive real distribution, and be pushed away from the negative distribution in Wasserstein distance. We test our model in two datasets with both automatic metrics and human evaluation. Results show that our model can generate fluent and reliable paraphrase samples that outperform the state-of-art results, while also provides reasonable variability and diversity.

연구 동기 및 목표

• 인간이 생성한 번역문에서 언어적 다양성을 반영하지 못하는 단일 대상 번역 모델의 한계를 해결하기 위해.
• 단일 입력 문장으로부터 다양한, 유창하고 의미적으로 정확한 번역문을 생성할 수 있는 딥 생성 모델을 개발하기 위해.
• 워샤프스키 GAN의 다중 클래스 확장 기법을 사용하여 텍스트 생성에서 훈련 안정성과 분포 정렬을 향상시키기 위해.
• 생성 품질을 향상시키기 위해 긍정(실제 번역문) 및 부정(혼동 요소) 샘플 모두로부터 학습할 수 있도록 하기 위해.

제안 방법

• 모델은 번역문 생성과 기준 문장 재구성에 공통된 디코더를 사용하는 인코더-디코더 아키텍처를 사용한다.
• 트랜스코더 네트워크는 입력 문장과 무작위 패턴 임베딩 벡터를 입력으로 받아 번역문 생성을 위한 잠재 코드로 매핑한다.
• 패턴 임베딩 벡터를 샘플링하여 다양한 번역문을 생성함으로써 출력 변동성에 대한 명시적 제어를 가능하게 한다.
• 생성된 분포가 실제 긍정 번역문과 일치하고 부정 샘플에서 멀어지도록 하는 다중 클래스 워샤프스키 GAN을 사용하여 생성자 모델을 훈련시킨다.
• 이산 토큰의 미분 가능한 샘플링을 위해 Gumbel-softmax를 사용하고, 히든 상태를 일치시킴으로써 훈련을 안정화시키기 위해 티처포싱을 적용한다.
• 비평가 네트워크는 생성된 샘플과 실제 긍정/부정 분포 사이의 워샤프스키 거리를 평가하여 안정적인 적대적 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 학습 가능한 패턴 임베딩을 조건으로 삼는 조건부 생성 모델은 다양한, 유창하고 의미적으로 정확한 번역문을 생성할 수 있는가?
• RQ2 훈련 목표에 부정 샘플을 통합함으로써 생성된 번역문의 품질과 관련성은 어떻게 향상되는가?
• RQ3 텍스트 생성에서 표준 GAN에 비해 다중 클래스 WGAN 프레임워크는 분포 정렬과 훈련 안정성 향상에 얼마나 기여하는가?
• RQ4 기준 데이터셋에서 유창성, 관련성, 다양성 측면에서 기존 방법과 비교해 본다면, 제안된 모델은 어떤 성능을 보이는가?

주요 결과

• Quora 데이터셋에서, 모든 모델 중에서 입력 문장당 최고의 생성 샘플을 고려했을 때 BLEU, ROUGE, METEOR 지표에서 최고의 성능을 기록했다.
• 인간 평가 결과, 모델가 생성한 번역문은 VAE-SVG보다 유의미하게 더 높은 관련성과 유창성(평균 점수 4.3)을 보였다.
• Quora에서 VAE-SVG보다 평균 성능이 뛰어나고, MSCOCO에서 BLEU 및 ROUGE-2 지표에서도 일관된 향상을 보이며 더 나은 분포 모델링 능력을 보였다.
• 입력 문장당 여러 샘플을 생성하면서 패턴 임베딩를 변화시킴으로써 다양한 번역문을 성공적으로 생성하였으며, 의미적 내용은 유지하면서도 의미 있는 언어적 다양성이 나타났다.
• 다중 클래스 WGAN 프레임워크는 실제 긍정 분포와의 더 나은 정렬을 가능하게 하고, 부정 샘플에서 멀어지게 하여 일반화 능력을 향상시켰으며, 더 견고한 생성 성능을 이끌어냈다.
• MSCOCO에서 Quora보다 더 다양한 번역문을 생성하였으며, 이는 이미지 캡션 생성에서의 데이터셋 자체의 다양성 반영을 의미한다.