[논문 리뷰] A Deep Generative Framework for Paraphrase Generation

Ankush Gupta, Arvind Agarwal외 2명|arXiv (Cornell University)|2017. 09. 15.

Topic Modeling인용 수 134

한 줄 요약

이 논문은 원문 문장을 조건으로 두는 VAE-LSTM 기반 프레임워크를 제시하여 주어진 입력에 대한 여러 개의 의역(paraphrase)을 생성하고, MSCOCO 및 Quora 데이터셋에서 기준 baselines 대비 강한 개선을 달성합니다. 또한 인간 평가를 통해 잘 구성되고 관련성 높은 의역을 보여줍니다.

ABSTRACT

Paraphrase generation is an important problem in NLP, especially in question answering, information retrieval, information extraction, conversation systems, to name a few. In this paper, we address the problem of generating paraphrases automatically. Our proposed method is based on a combination of deep generative models (VAE) with sequence-to-sequence models (LSTM) to generate paraphrases, given an input sentence. Traditional VAEs when combined with recurrent neural networks can generate free text but they are not suitable for paraphrase generation for a given sentence. We address this problem by conditioning the both, encoder and decoder sides of VAE, on the original sentence, so that it can generate the given sentence's paraphrases. Unlike most existing models, our model is simple, modular and can generate multiple paraphrases, for a given sentence. Quantitative evaluation of the proposed method on a benchmark paraphrase dataset demonstrates its efficacy, and its performance improvement over the state-of-the-art methods by a significant margin, whereas qualitative human evaluation indicate that the generated paraphrases are well-formed, grammatically correct, and are relevant to the input sentence. Furthermore, we evaluate our method on a newly released question paraphrase dataset, and establish a new baseline for future research.

연구 동기 및 목표

• QA, IR, 정보 추출과 같은 NLP 애플리케이션에 대한 의역 생성의 동기 부여 및 접근
• 주어진 문장에 대해 다수의 고품질 의역을 생성할 수 있는 principled한 심층 생성 프레임워크 개발
• 입력 문장을 양측 인코더와 디코더에 반영하도록 conditioning을 확장한 VAE 활용
• 표준 의역 데이터셋에서 최첨단과의 개선을 Demonstrate하고 질문 의역 데이터셋에서 새로운 기준을 확립

제안 방법

• 원래 입력 문장에 대해 인코더와 디코더를 모두 conditioning하는 VAE를 사용
• 입력 문장과 의역 문장을 LSTM 인코더로 표현하고 잠재 변수 z를 통해 의역 표현을 생성
• 디코더에서 원문 문장 표현으로 초기화하고 매 decoding 단계에서 z를 주입하여 의역 표현을 재구성
• 입력 문장을 conditioning하는 변분 하한: L = E_{q(z|xo, xp)}[log p(xp|z, xo)] - KL(q(z|xo, xp) || p(z))로 학습
• 감독형 변형(VAE-SVG 및 VAE-SVG-eq)을 무감독 VAE baselines 및 MSCOCO와 Quora 데이터셋의 최첨단 모델과 비교

실험 결과

연구 질문

• RQ1 VAE 기반 아키텍처를 입력 문장에 conditioning하여 특정 문장에 대한 의역을 생성할 수 있는가?
• RQ2 conditioning 및 제안된 VAE-LSTM 설계가 무조건적 VAEs와 표준 seq-to-seq 모델에 비해 의역 품질을 향상시키는가?
• RQ3 제안된 모델은 자동 지표와 인간 판단 측면에서 일반 의역 데이터(MSCOCO)와 질문 의역 데이터(Quora)에서 어떻게 성능을 발휘하는가?

주요 결과

• VAE-SVG 계열은 MSCOCO에서 BLEU, METEOR, TER 지표에서 다양한 설정 하에 기준 및 최첨단 방법을 능가합니다.
• Quora 데이터셋에서 감독형 변형(VAE-SVG 및 VAE-SVG-eq)은 무감독 베이스라인을 크게 능가하고, 특정 구성에서 빔 서치로 추가 이득을 얻습니다.
• 인간 평가에서 의역은 대체로 관련성과 가독성이 높고 실제 정답 품질에 근접하며, 도메인 의존적 변이가 있습니다(MSCOCO 캡션).
• 이 방법은 Quora에서 50K/100K/150K 학습 regime에서 강력한 기준을 설정하고, 질문 의역 생성에 대해 이전 방법들보다 큰 개선을 보입니다.
• 빔 서치 및 변형 인코딩(특히 VAE-SVG-eq)이 더 높은 품질의 의역과 입력-변형 유사성에 따른 더 효과적인 필터링에 기여합니다.