[논문 리뷰] Bianet: A Parallel News Corpus in Turkish, Kurdish and English

Duygu Ataman|arXiv (Cornell University)|2018. 05. 14.

Natural Language Processing Techniques인용 수 15

한 줄 요약

이 논문은 비아넷 온라인 신문에서 수집한 터키어, Kurmanji 키프리스(라틴 문자), 영어로 된 새로운 오픈소스 병렬 뉴스 코퍼스인 Bianet을 소개한다. 이 코퍼스는 이중어 및 다중어 모델을 향상시켜 저자원 언어 쌍—특히 영어-터키어 및 영어- Kurmanji 키프리스에 대한 개선된 신경 기계 번역(NMT)을 가능하게 하며, SETIMES 및 Bianet 데이터를 사용한 실험에서 BLEU 및 chrF3 점수에 상당한 향상이 있었다.

ABSTRACT

We present a new open-source parallel corpus consisting of news articles collected from the Bianet magazine, an online newspaper that publishes Turkish news, often along with their translations in English and Kurdish. In this paper, we describe the collection process of the corpus and its statistical properties. We validate the benefit of using the Bianet corpus by evaluating bilingual and multilingual neural machine translation models in English-Turkish and English-Kurdish directions.

연구 동기 및 목표

• 터키어 및 쿠르드어와 같은 저자원 언어에 대한 병렬 단일 언어 뉴스 코퍼스의 부족 문제를 해결하기 위해.
• 한 개의 뉴스 소스(비아넷)에서 유래한 다국어 문장 정렬 병렬 코퍼스를 구축하기 위해, 터키어, 영어, 쿠르드어로 번역된 기사들을 포함한다.
• Bianet 코퍼스가 이중어 및 다중어 환경에서 신경 기계 번역 품질에 미치는 영향을 평가하기 위해.
• 저자원 및 다국어 기계 번역 연구를 지원하기 위해 공개적으로 이용 가능한 자원을 제공하기 위해.

제안 방법

• Scrapy를 사용한 웹 크롤링을 통해 비아넷이라는 터키 온라인 뉴스지에서 터키어 뉴스 기사를 추출한다.
• 비아넷 웹사이트에서 다국어 기사 링크를 식별함으로써 문서 수준의 번역을 확보한다.
• 문장 길이와 어휘 겹침을 기반으로 한 히ュ리스틱 매칭을 사용하여 병렬 텍스트의 문장 수준 정렬을 수행한다.
• 세 가지 병렬 언어 쌍을 구성한다: 터키어-영어, 영어-쿠르드어, 터키어-쿠르드어.
• 기존 데이터(예: SETIMES)와 함께 Bianet 코퍼스를 사용하여 이중어 및 다중어 신경 기계 번역 모델을 훈련시킨다.
• 공식 MT 벤치마크 데이터셋에서 표준 메트릭인 BLEU 및 chrF3를 사용하여 번역 품질을 평가한다.

실험 결과

연구 질문

• RQ1 Bianet 코퍼스는 영어-터키어 신경 기계 번역에서 번역 품질을 어느 정도 향상시키는가?
• RQ2 쿠르드어 병렬 데이터의 포함이 저자원 언어 쌍을 위한 다중어 NMT 모델을 향상시킬 수 있는가?
• RQ3 Bianet 코퍼스는 SETIMES와 같은 기존 병렬 코퍼스와 비교해 NMT 성능 향상에 어떤 영향을 미치는가?
• RQ4 기존 코퍼스와 Bianet 코퍼스를 결합했을 때 다중어 모델 성능에 어떤 영향을 미치는가?
• RQ5 Bianet 코퍼스는 쿠르드어와 같은 저자원 언어에 대해 효과적인 제로샷 또는 피처샷 번역을 지원할 수 있는가?

주요 결과

• SETIMES 베이스라인에 Bianet 코퍼스를 추가함으로써 영어-터키어 번역 성능이 BLEU 점수 2.27점, chrF3 점수 0.0204점 향상되었다.
• 모든 Bianet 데이터(터키어-쿠르드어 포함)로 훈련된 다중어 모델은 영어-터키어 작업에서 13.92 BLEU 점수와 0.4360 chrF3 점수를 기록했으며, 이는 베이스라인 및 병합된 이중어 모델을 모두 능가하는 성능이었다.
• 영어-쿠르드어 번역의 경우, 다중어 모델은 이중어 기반의 5.41 BLEU에서 8.51 BLEU로 향상되었고, chrF3는 0.2257에서 0.2406으로 상승하여 상당한 향상이 있었다.
• 작은 규모이지만 터키어-쿠르드어 부분 코퍼스는 다중어 훈련에서 BLEU 점수 4.10점, chrF3 점수 0.0149점의 향상을 기록했으며, 저자원 환경에서의 가치를 입증했다.
• 모든 성능 향상은 통계적으로 유의미했으며(p < 0.05), 이는 코퍼스가 번역 품질 향상에 실질적인 기여를 한다는 것을 확인시켰다.
• Bianet 코퍼스는 공개적으로 이용 가능하며, 터키어, 쿠르드어, 영어를 위한 다중어 NMT 시스템의 훈련 및 미세조정에 사용될 수 있다.