[논문 리뷰] Paraphrase Generation as Zero-Shot Multilingual Translation: Disentangling Semantic Similarity from Lexical and Syntactic Diversity

Brian J. Thompson, Matt Post|arXiv (Cornell University)|2020. 08. 11.

Natural Language Processing Techniques인용 수 23

한 줄 요약

이 논문은 다국어 신경 기계 번역(NMT) 모델을 사용하여 입력 문장에 포함된 n-그램을 디코딩 중에 패널티를 주는 방식으로 어휘 다양성을 제어하는 제로샷 편의어 생성 방법을 제안한다. 이 방법은 동일한 어휘 다양성 수준에서 인간 평가에서 의미 유사성과 문법성 면에서 강력한 영어 전용 기준보다 뛰어난 고품질의 편의어를 다국어로 생성할 수 있다.

ABSTRACT

Recent work has shown that a multilingual neural machine translation (NMT) model can be used to judge how well a sentence paraphrases another sentence in the same language (Thompson and Post, 2020); however, attempting to generate paraphrases from such a model using standard beam search produces trivial copies or near copies. We introduce a simple paraphrase generation algorithm which discourages the production of n-grams that are present in the input. Our approach enables paraphrase generation in many languages from a single multilingual NMT model. Furthermore, the amount of lexical diversity between the input and output can be controlled at generation time. We conduct a human evaluation to compare our method to a paraphraser trained on the large English synthetic paraphrase database ParaBank 2 (Hu et al., 2019c) and find that our method produces paraphrases that better preserve meaning and are more gramatical, for the same level of lexical diversity. Additional smaller human assessments demonstrate our approach also works in two non-English languages.

연구 동기 및 목표

• 단일 다국어 NMT 모델을 사용하여 여러 언어 간에 비틀림이 없고 의미적으로 유사한 편의어를 생성하는 과제를 해결하기 위해.
• 쌍방향 번역 자료에서 유도된 합성 편의어 데이터의 한계를 극복하기 위해, 언어별로 특화된 모호성(예: 성별, 문법 구조)으로 인해 오류가 발생할 수 있음을 고려하기 위해.
• 문장 생성 과정에서 어휘 다양성에 대한 세밀한 제어를 가능하게 하여, 유창성과 의미 유사성 모델링과는 독립적으로 수행하기 위해.
• 단일 다국어 NMT 모델이 영어 외의 다양한 언어, 특히 비영어 언어까지도 강력한 제로샷 편의어 생성기로 기능할 수 있음을 입증하기 위해.
• 문장 유창성과 다양성 모델링 간의 상호의존성을 줄이기 위해 의미 유사성 모델링과 생성 과정을 분리하기 위해.

제안 방법

• 이 방법은 제로샷 편의어 생성을 위해 미세조정된 다국어 NMT 모델을 사용하며, 편의어 생성을 동일한 언어 내에서 문장을 자신에게 번역하는 작업으로 간주한다.
• 이러한 방법은 디코더 출력에서 입력 문장에 이미 존재하는 n-그램(n=1에서 4까지)을 완성하는 하위단어 토큰을 동적으로 가중치를 낮추는 소프트 제약 메커니즘을 도입한다.
• 패널티는 입력 문장의 n-그램을 기반으로 생성된 토큰의 접두어에 대해 하위단어를 억제해야 할지 여부를 매핑하는 동적 패널티 함수를 통해 추론 시점에 적용된다.
• 패널티는 해당 n-그램을 완성하는 하위단어의 로그 확률에서 학습 가능한 하이퍼파라미터 α를 빼는 방식으로 구현되며, 이를 완전히 금지하지는 않는다.
• 이 방법을 통해 사용자는 패널티 강도 α를 조절하여 생성 시점에 어휘 다양성을 제어할 수 있다.
• 이 방법은 다국어 인코더의 중간 표현을 활용하여 의미적 및 문법적 특징(예: 성별)을 여러 언어 간에 유지함으로써, 모호한 피벗 언어로 인한 오류를 줄인다.

실험 결과

연구 질문

• RQ1 합성 편의어 데이터에 대한 미세조정 없이도 다국어 NMT 모델을 효과적으로 제로샷 편의어 생성에 활용할 수 있는가?
• RQ2 추론 중에 입력 문장의 n-그램을 패널티 처리하면 의미적으로 비슷하고 더 다양한 비틀림 없는 편의어를 생성할 수 있는가, 동시에 의미 유사성과 문법성을 유지하는가?
• RQ3 단일 모델을 사용하여 추론 시점에 생성된 편의어의 어휘 다양성 수준을 제어할 수 있는가?
• RQ4 이 방법은 대규모 합성 편의어 데이터셋으로 훈련된 강력한 기준보다 의미 충실도와 문법성 면에서 뛰어나게 성능을 발휘하는가?
• RQ5 이 방법은 합성 편의어 데이터 생성 과정에서 발생하는 언어별 특화된 모호성으로 인한 오류를 어느 정도 완화하는가?

주요 결과

• 인간 평가 결과, 제안된 방법은 5000만 개의 ParaBank 2에서 유도된 합성 예제로 훈련된 강력한 영어 전용 기준과 동일한 어휘 다양성 수준에서 의미 유사성 면에서 유의미하게 높고, 문법성 면에서는 略으로 더 우수한 성능을 보였다.
• 독일어와 스페인어에서도 높은 성능을 달성하였으며, 인간 평가 결과 영어와 유사한 의미 유사성과 문법성을 보였고, 이는 다국어 일반화의 가능성을 시사한다.
• 다국어 인코더 표현에서 의미 특징을 유지함으로써, 성별 중립적 언어에서 성별이 있는 언어로의 번역에서 발생하는 성별 불일치 등의 오류를 효과적으로 완화하였다.
• 이 방법은 재학습 없이도 생성 시점에 어휘 다양성에 대한 제어를 가능하게 하여, 새로운 개념과 의미 충실도 사이의 트레이드오프를 사용자가 조정할 수 있다.
• 이 모델은 품질 뿐 아니라 내구성 면에서도 합성 데이터 기반 기준을 능가한다. 합성 편의어 데이터 생성 과정에서 발생하는 오류를 피하기 때문이다.
• 저자들은 코드를 https://github.com/thompsonb/prism 에 공개하여 재현 가능성과 다국어 제로샷 편의어 생성 분야의 향후 연구를 가능하게 하였다.