[논문 리뷰] D-PAGE: Diverse Paraphrase Generation

Qiongkai Xu, Juyan Zhang외 3명|arXiv (Cornell University)|2018. 08. 13.

Topic Modeling인용 수 29

한 줄 요약

D-PAGE는 디코더에 학습 가능한 패턴 임베딩을 도입하여 다양한 파araphrase 생성을 위한 신경 기계 번역 모델을 향상시키는 새로운 방법을 제안한다. 이는 입력 하나당 다수의 최적 출력을 가능하게 하며, 실세계 데이터셋에서 기존 모델 대비 최소한 한 계단 높은 다양성을 달성한다. 새로운 평가 지표인 제퍼리의 발산을 사용하여 강력한 의미적 충실도를 유지하면서도, 기존 모델 대비 최소한 10배 이상 높은 다양성을 확보한다.

ABSTRACT

In this paper, we investigate the diversity aspect of paraphrase generation. Prior deep learning models employ either decoding methods or add random input noise for varying outputs. We propose a simple method Diverse Paraphrase Generation (D-PAGE), which extends neural machine translation (NMT) models to support the generation of diverse paraphrases with implicit rewriting patterns. Our experimental results on two real-world benchmark datasets demonstrate that our model generates at least one order of magnitude more diverse outputs than the baselines in terms of a new evaluation metric Jeffrey's Divergence. We have also conducted extensive experiments to understand various properties of our model with a focus on diversity.

연구 동기 및 목표

• 신경 모델의 발전에도 불구하고 번역 생성의 다양성 부족 문제를 해결하기 위해.
• 동일한 입력에 대해 다수의 의미적으로 충실하고 언어적으로 다양성이 있는 번역문을 생성할 수 있도록 단일 모델을 가능하게 하기 위해.
• 파라미터화된 패턴 임베딩을 통해 다양한 재작성 패턴을 모델링함으로써 다수의 출력을 지원하는 방법을 개발하기 위해.
• 다른 재작성 패턴에 기인한 다양성을 측정하기 위해 새로운 평가 지표인 제퍼리의 발산을 도입하기 위해.
• 합성 데이터셋에서 해석 가능한 원자적 재작성 패턴을 학습할 수 있는지 검증하기 위해.

제안 방법

• 신경 기계 번역 모델의 디코더에 학습 가능한 패턴 임베딩을 추가하여 각각 다른 재작성 패턴을 나타내도록 한다.
• 각 입력에 대해, 다양한 파rameter 서브셋을 사용하여 적절한 패턴 임베딩을 동적으로 선택하여 다양한 출력을 생성한다.
• 공통 인코더와 여러 디코더를 갖춘 엔드 투 엔드 학습 방식을 적용하며, 각 디코더는 특정 패턴 임베딩과 연결된다.
• 모든 패턴이 학습되도록 보장하기 위해, 훈련 샘플이 디코더 간에 균형 있게 분포하도록 하는 손실 함수를 사용한다.
• 출력 간의 분포 차이에 기반하여 다양성을 정량화하는 데 사용할 수 있는 새로운 평가 지표인 제퍼리의 발산을 도입한다.
• 예를 들어 대체, 스케일링 등 원자적 재작성 패턴이 사전 정의된 합성 데이터셋을 구축하여 패턴 학습 능력을 테스트한다.

실험 결과

연구 질문

• RQ1 신경 모델이 충실도를 해치지 않으면서도 다수의 다양한 의미적으로 충실한 번역문을 생성할 수 있는가?
• RQ2 제안된 패턴 임베딩 기법이 다양한 재작성 패턴을 효과적으로 포착하고 생성하는 데 얼마나 효과적인가?
• RQ3 새로운 다양성 지표를 사용할 때, 기존 방법보다 모델이 다수의 출력을 더 잘 생성하는가?
• RQ4 모델은 합성 데이터에서 사전 정의된 해석 가능한 재작성 패턴을 학습하고 재현할 수 있는가?
• RQ5 패턴 임베딩의 수(즉, 디코더의 수)가 증가함에 따라 모델의 성능은 어떻게 변화하는가?

주요 결과

• D-PAGE는 두 개의 실세계 데이터셋에서 기존 모델 대비 최소한 한 계단 높은 다양성을 제퍼리의 발산으로 측정하여 확보한다.
• 모델는 경쟁적인 의미적 충실도를 유지하며, PPDB와 Paralex에서 SARI 점수 측정 결과 D-PAGE-2와 D-PAGE-4가 일부 경우에서 Beam-8을 초월한다.
• 합성 데이터셋에서 D-PAGE는 대체 및 스케일링과 같은 사전 정의된 재작성 패턴을 성공적으로 학습하고 적용하는 반면, Noise-K와 VAE-K는 다수의 패턴을 일반화하거나 학습하지 못한다.
• 디코더 간 샘플의 훈련 분포가 균형 잡힌 비율로 수렴함으로써, 다수의 패턴이 효과적으로 학습된 것으로 나타났다.
• D-PAGE-8는 PPDB에서 1.5일 이내, Paralex에서 4.1일 이내로 합리적인 훈련 시간을 확보하였으며, 디코더 수 증가에 따라 훈련 시간이 선형적으로 증가함을 보였다.
• 모델는 다양한 패턴 임베딩을 활용하여 교육, 저널리즘 등 특정 용도에 맞게 출력을 맞춤 설정할 수 있는 유연성을 보였다.