[논문 리뷰] Paraphrase Generation with Latent Bag of Words

Yao Fu, Yansong Feng외 1명|arXiv (Cornell University)|2020. 01. 07.

Topic Modeling인용 수 35

한 줄 요약

논문은 대상 문장에 기반한 잠재 단어 bag-of-words(BOW) 모델을 도입하여 차별화 가능한 파라프레이즈 생성을 안내하고, 해석 가능한 콘텐츠 계획 및 향상된 생성 성능을 가능하게 한다.

ABSTRACT

Paraphrase generation is a longstanding important problem in natural language processing. In addition, recent progress in deep generative models has shown promising results on discrete latent variables for text generation. Inspired by variational autoencoders with discrete latent structures, in this work, we propose a latent bag of words (BOW) model for paraphrase generation. We ground the semantics of a discrete latent variable by the BOW from the target sentences. We use this latent variable to build a fully differentiable content planning and surface realization model. Specifically, we use source words to predict their neighbors and model the target BOW with a mixture of softmax. We use Gumbel top-k reparameterization to perform differentiable subset sampling from the predicted BOW distribution. We retrieve the sampled word embeddings and use them to augment the decoder and guide its generation search space. Our latent BOW model not only enhances the decoder, but also exhibits clear interpretability. We show the model interpretability with regard to \emph{(i)} unsupervised learning of word neighbors \emph{(ii)} the step-by-step generation procedure. Extensive experiments demonstrate the transparent and effective generation process of this model.\footnote{Our code can be found at \url{https://github.com/FranxYao/dgm_latent_bow}}

연구 동기 및 목표

• 잠재 변수를 대상 문장 BOW를 사용하여 명시적 어휘 의미에 고정한다.
• 파라프레이즈 생성을 위한 differentiable 콘텐츠 계획 및 표면 구현 파이프라인를 구축한다.
• 감독 없이 단어 이웃을 학습하고 단계별 생성을 통해 해석 가능성을 입증한다.

제안 방법

• 대상 문장으로부터 단어 묶음으로 계층적 이산 잠재 변수 z를 모델링한다.
• 각 소스 단어에 대한 이웃 단어를 예측하고 소프트맥스 혼합을 통해 혼합 이웃 BOW를 형성한다.
• 미분 가능 Gumbel top-k 재매개변수를 사용하여 p(tilde z|x)로부터 k-hot BOW z를 샘플링한다.
• 생성을 유도하기 위해 샘플링된 단어 임베딩으로 디코더를 보강한다.
• 시퀀스-투-시퀀스 가능도와 BOW 가이던스를 결합한 공동 손실로 학습한다.
• 다중 모드 BOW 분포를 포착하기 위해 소프트맥스 혼합을 활용한다.

실험 결과

연구 질문

• RQ1 잠재 이산 변수를 대상 BOW에 고정하는 것이 끝까지 differentiable하게 유지되면서 파라프레이즈 생성을 향상시킬 수 있는가?
• RQ2 Gumbel top-k를 통한 differentiable 부분 샘플링이 파라프레이즈 생성에서 효과적인 계획 및 실현을 가능하게 하는가?
• RQ3 잠재 BOW 예측이 디코딩 및 생성 품질에 어느 정도 영향을 미치는가?

주요 결과

• LBOW 모델(Topk 및 Gumbel)은 Quora 및 MSCOCO에서 표준 seq2seq 비교기보다 BLEU/ROUGE가 더 높다.
• Gumbel-top-k은 BOW의 차별화 가능한 샘플링을 제공하여 엔드-투-엔드 학습을 가능하게 한다.
• BOW-가이드 디코딩은 검색 공간을 크게 제약하고 생성 품질을 향상시킨다.
• 모델은 비지도 방식으로 단어 이웃과 렉셜 의미 관계를 학습한다.
• 속임수형 BOW 상한은 강력한 성능에 대한 정확한 BOW 예측의 중요성을 확인한다.