[논문 리뷰] Zero-Shot Paraphrase Generation with Multilingual Language Models

Yinpeng Guo, Yi Liao외 4명|arXiv (Cornell University)|2019. 11. 09.

Topic Modeling참고 문헌 30인용 수 15

한 줄 요약

이 논문은 복수의 번역 시스템에 의존하지 않고, 순환 번역을 거치지 않고도 직접 병렬 어휘 자료를 학습하는 다국어 언어 모델을 사용하여 단일 단계, 엔드 투 엔드 제로샷 병행 생성 모델을 제안한다. GPT 스타일의 사전 훈련과 노이즈 제거 오토인코더를 활용한 트랜스포머 기반 아키텍처를 통해, 피봇 기반 방법에 비해 더 뛰어난 관련성, 유창성, 다양성을 달성하면서 추론 비용과 의미의 왜곡을 줄인다.

ABSTRACT

Leveraging multilingual parallel texts to automatically generate paraphrases has drawn much attention as size of high-quality paraphrase corpus is limited. Round-trip translation, also known as the pivoting method, is a typical approach to this end. However, we notice that the pivoting process involves multiple machine translation models and is likely to incur semantic drift during the two-step translations. In this paper, inspired by the Transformer-based language models, we propose a simple and unified paraphrasing model, which is purely trained on multilingual parallel data and can conduct zero-shot paraphrase generation in one step. Compared with the pivoting approach, paraphrases generated by our model is more semantically similar to the input sentence. Moreover, since our model shares the same architecture as GPT (Radford et al., 2018), we are able to pre-train the model on large-scale unparallel corpus, which further improves the fluency of the output sentences. In addition, we introduce the mechanism of denoising auto-encoder (DAE) to improve diversity and robustness of the model. Experimental results show that our model surpasses the pivoting method in terms of relevance, diversity, fluency and efficiency.

연구 동기 및 목표

• 고품질 병행 어휘 자료의 부족을 해결하기 위해 병행 병행 데이터가 필요 없이 제로샷 병행 생성을 가능하게 한다.
• 다수의 번역 시스템에 의존하는 두 단계 병행 번역 파이프라인에서 발생하는 의미의 왜곡과 비효율성을 해결한다.
• 대규모 단일 언어 사전 훈련과 노이즈 제거 오토인코딩을 활용하여 생성된 병행 표현의 유창성과 다양성을 향상시킨다.
• 다국어 병행 데이터로부터 직접 병행 표현 분포를 학습하는 통합형 엔드 투 엔드 모델을 개발한다.
• 단일 언어 사전 훈련에서의 전이 학습을 통해 자원이 적은 언어에서 효과적인 제로샷 병행 생성을 가능하게 한다.

제안 방법

• 다국어 병행 문장의 연결된 쌍에 대해 언어별 토큰을 포함시켜 트랜스포머 기반 디코더 언어 모델을 훈련하여 다국어 이해 및 생성을 가능하게 한다.
• 대규모 단일 언어 코퍼스에서 GPT 스타일의 자동회귀 사전 훈련을 수행하여 특히 자원이 적은 언어에서의 유창성과 일반화 능력을 향상시킨다.
• 사전 훈련 중에 노이즈 제거 오토인코더(DAE) 메커니즘을 도입하여 입력 토큰을 마스킹하고 재구성함으로써 강건성과 다양성을 향상시킨다.
• 추론 시, 입력 문장을 원본 언어로 조건화하고 자동회귀 디코딩을 사용하여 동일 언어의 병행 표현을 생성한다.
• 병행 어휘 자료에서 원본 문장과 대상 문장의 결합 분포에 대해 최대 우도 추정을 사용하여 모델을 종합적으로 최적화한다.
• 온도 샘플링을 통해 생성의 다양성을 제어하고, BLEU 및 Distinct-2와 같은 자동 평가 지표를 사용하여 관련성과 유창성의 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 다국어 병행 데이터에서 종합적으로 훈련된 단일 통합 모델이 제로샷 병행 생성에서 표준 병행 번역 방법보다 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 단일 언어 데이터에서의 사전 훈련이 자원이 적은 언어에서의 유창성과 제로샷 성능을 얼마나 향상시키는가?
• RQ3 노이즈 제거 오토인코딩의 통합이 생성된 병행 표현의 다양성과 강건성에 어떤 영향을 미치는가?
• RQ4 제안된 방법은 두 단계 피봇 기반 접근법에 비해 의미의 왜곡을 줄이는가?
• RQ5 언어별 병행 데이터에 대한 미세조정 없이도 모델이 여러 언어로 효과적으로 일반화될 수 있는가?

주요 결과

• 자동 평가 및 인간 평가에서 모두, 제안된 모델은 관련성, 유창성, 다양성, 효율성 측면에서 병행 번역 기반 베이스라인에 비해 뚜렷이 뛰어나다.
• 인간 평가 결과, 피봇 기반 방법이 생성한 병행 표현보다 제안된 모델의 병행 표현이 입력 문장과 더 유사한 의미를 가지며 의미의 왜곡이 감소함을 확인했다.
• 더 높은 Distinct-2 점수와 낮은 역방향 Self-BLEU 점수를 기록하여 더 나은 어휘 다양성과 반복을 줄인 것으로 나타났다.
• GPT 스타일의 사전 훈련을 통해 추가적인 미세조정 없이도 유창성이 향상되었으며, 특히 자원이 적은 언어에서 두드러졌다.
• 노이즈 제거 오토인코더 메커니즘은 의미의 관련성을 훼손하지 않으면서도 강건성과 다양성을 향상시켰다.
• 피봇 기반 방법보다 추론이 더 빠르고 효율적이었으며, 두 단계 디코딩과 다수의 번역 시스템을 피하기 때문이다.