[논문 리뷰] ParaCotta: Synthetic Multilingual Paraphrase Corpora from the Most Diverse Translation Sample Pair

Alham Fikri Aji, Tirana Noor Fatyanosa외 7명|arXiv (Cornell University)|2022. 05. 10.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 단일어 문장 데이터와 신경 기계 번역(NMT) 시스템을 유일한 자료로 사용하여 다국어 병렬 어휘를 합성 생성하는 ParaCotta 방법을 제안한다. 비음성 검색을 통해 다수의 번역을 생성하고, 가장 낮은 BLEU 점수를 가진 번역 쌍을 선택함으로써 어휘 다양성이 높은 의미적으로 유사한 병렬 어휘 쌍을 17개 언어에서 생성한다. 이는 인간 평가와 의미 유사도 측정에서 기준 방법을 능가하며 강력한 어휘 다양성을 유지한다.

ABSTRACT

We release our synthetic parallel paraphrase corpus across 17 languages: Arabic, Catalan, Czech, German, English, Spanish, Estonian, French, Hindi, Indonesian, Italian, Dutch, Romanian, Russian, Swedish, Vietnamese, and Chinese. Our method relies only on monolingual data and a neural machine translation system to generate paraphrases, hence simple to apply. We generate multiple translation samples using beam search and choose the most lexically diverse pair according to their sentence BLEU. We compare our generated corpus with the exttt{ParaBank2}. According to our evaluation, our synthetic paraphrase pairs are semantically similar and lexically diverse.

연구 동기 및 목표

• 영어 외의 고품질 다국어 병행 어휘 데이터셋 부족 문제를 해결하기 위해 확장 가능하고 자원이 적은 방법을 개발하기 위해.
• 병행 이중어 어휘 코퍼스가 필요 없이 의미적으로 유사하고 어휘적으로 다양한 병행 어휘 쌍을 생성하기 위해.
• 단일어 데이터와 사전 학습된 NMT 시스템에만 의존하는 방법을 개발하여 광범위한 언어 커버리지를 달성하기 위해.
• 다음 NLP 작업을 위한 17개 언어에서 사용 가능한 합성 병행 어휘 코퍼스를 공개하기 위해.
• 합성 병행 어휘 생성에서 어휘 다양성과 의미 유사도 간의 상충 관계를 평가하기 위해.

제안 방법

• 사전 학습된 영어-대상어 NMT 모델을 사용하여 비음성 검색을 통해 단일어 영어 문장에서 다수의 번역 샘플을 생성한다.
• 어휘 다양성이 높다는 가정 하에, 가장 낮은 BLEU 점수를 가진 번역 쌍을 최종 병행 어휘 쌍으로 선별한다.
• 병행 어휘 생성을 위한 입력으로 단일어 영어 코퍼스(예: ParaBank2, 위키백과, NewsCrawl, Tatoeba)를 사용한다.
• 아랍어, 카탈로니아어, 체코어, 독일어, 영어, 스페인어, 에스토니아어, 프랑스어, 히브리어, 인도네시아어, 이탈리아어, 네덜란드어, 루마니아어, 러시아어, 스웨덴어, 베트남어, 중국어를 포함한 17개 언어에서 병행 어휘를 생성하기 위해 동일한 방법을 적용한다.
• 의미 유사도와 어휘 다양성의 균형을 맞추기 위해 BLEU 임계값(예: 20–60 또는 20–80)을 사용해 생성된 쌍을 필터링한다.
• 합성 병행 어휘 코퍼스를 기반으로 Transformer 기반의 seq2seq 모델을 학습하여, 라운드트립 기계 번역과 같은 기준 방법과의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 병행 이중어 어휘 코퍼스가 필요 없이 단일어 데이터와 사전 학습된 NMT 시스템만을 사용하여 합성 병행 어휘 코퍼스를 효과적으로 생성할 수 있는가?
• RQ2 낮은 BLEU 점수를 통해 어휘 다양성이 가장 높은 번역 쌍을 선택할 경우, 의미적으로 유사하고 어휘적으로 다양한 병행 어휘 쌍을 생성할 수 있는가?
• RQ3 의미 유사도와 어휘 다양성 측면에서 ParaBank2와 같은 기존 벤치마크와 비교했을 때 합성 병행 어휘 코퍼스의 품질은 어떠한가?
• RQ4 BLEU 기반 필터링이 합성 병행 어휘 쌍에서 의미 유사도와 어휘 다양성 간의 균형을 얼마나 향상시킬 수 있는가?
• RQ5 제안된 방법이 자원이 적은 언어와 자원이 많은 언어를 포함한 다양한 언어에서 고품질 병행 어휘 데이터를 생성할 수 있는가?

주요 결과

• BLEU 20–80로 필터링한 ParaCotta 병행 어휘 코퍼스는 인도네시아어 데이터셋에서 인간 평가 의미 유사도 점수 88.9를 기록했으며, 필터링되지 않은 ParaCotta와 라운드트립 기계 번역보다 뛰어난 성능을 보였다.
• 필터링된 ParaCotta 코퍼스는 높은 의미 유사도(sBERT 코사인 유사도 92.1)를 유지하면서도 BLEU 점수 48.0을 기록하여 강력한 어휘 다양성을 확보했다.
• BLEU 및 재작업 지수로 측정했을 때, ParaBank2의 병행 어휘 쌍보다 의미적으로는 비슷하면서도 어휘적으로 훨씬 더 다양하다.
• 낮은 BLEU 점수와 높은 어휘 다양성 간의 상관관계가 관찰되어, 선택 과정에서 BLEU를 다양성의 대체 지표로 사용하는 것이 효과적임을 확인했다.
• 의미 유사도와 어휘 다양성 측면에서 모두 라운드트립 기계 번역보다 뛰어나며, 후자의 의미 유사도 점수는 뿐만 아니라 78.1에 불과했다.
• 공개된 데이터셋은 17개 언어를 포함하며, https://github.com/afaji/paracotta-paraphrase 에서 공개되어 있어 다국어 NLP 작업에 널리 활용 가능하다.