[논문 리뷰] TURJUMAN: A Public Toolkit for Neural Arabic Machine Translation

El Moatez Billah Nagoudi, AbdelRahim Elmadany외 1명|arXiv (Cornell University)|2022. 05. 27.

Natural Language Processing Techniques인용 수 7

한 줄 요약

TURJUMAN은 20개 언어에서 현대표준아랍어(MSA)로의 신경 기계 번역을 위한 오픈소스 파이썬 툴킷이며, AraT5 텍스트-투-텍스트 트랜스포머 모델 기반으로 구축되었다. 이는 다양한 디코딩 전략을 통해 어색한 번역을 생성할 수 있으며, OPUS에서 의미 유사도 기반 필터링을 통해 유도된 고품질의 20개 언어 MSA 번역 벤치마크인 AraOPUS-20도 포함하고 있다. 이는 경쟁 기준 대비 뛰어난 성능을 보였다.

ABSTRACT

We present TURJUMAN, a neural toolkit for translating from 20 languages into Modern Standard Arabic (MSA). TURJUMAN exploits the recently-introduced text-to-text Transformer AraT5 model, endowing it with a powerful ability to decode into Arabic. The toolkit offers the possibility of employing a number of diverse decoding methods, making it suited for acquiring paraphrases for the MSA translations as an added value. To train TURJUMAN, we sample from publicly available parallel data employing a simple semantic similarity method to ensure data quality. This allows us to prepare and release AraOPUS-20, a new machine translation benchmark. We publicly release our translation toolkit (TURJUMAN) as well as our benchmark dataset (AraOPUS-20).

연구 동기 및 목표

• 공개적으로 이용 가능한 고품질의 아랍어 신경 기계 번역 도구 부족 문제를 해결하기 위해.
• MSA 번역에 특화된 유연하고 확장 가능하며 접근성이 높은 NMT 툴킷을 개발하기 위해.
• MSA 번역을 위한 고품질의 다국어 벤치마크 데이터셋(AraOPUS-20)을 제작하고 공개하기 위해.
• 동일한 입력 문장을 기반으로 다양한 어색한 번역을 생성할 수 있도록 다양한 디코딩 전략을 지원하기 위해.
• 연구자와 실무자가 TURJUMAN을 아랍어 NLP 분야의 강력한 기초 모델이나 확장 가능한 프레임워크로 활용할 수 있도록 하기 위해.

제안 방법

• 20개 언어 쌍에 대해 OPUS 병렬 데이터의 정제된 서브셋을 기반으로 AraT5 텍스트-투-텍스트 트랜스포머 모델을 피지테이닝하기 위해.
• OPUS에서 잡음이 많은 번역을 제거하기 위해 의미 유사도 기반 필터링 방법을 적용하여 데이터 품질을 향상시키기 위해.
• 다양한 디코딩 전략을 구현: 그리디 서치, 빔 서치, top-k 샘플링, 핵심(NUCLEUS, top-p) 샘플링.
• 추론, 번역, 평가를 지원하는 모듈러한 파이썬 기반 명령줄 툴킷(TURJUMAN)을 설계하기 위해.
• 툴킷과 벤치마크 데이터셋(AraOPUS-20)을 오픈소스 라이선스 하에 공개하여 재현성과 재사용성을 보장하기 위해.
• 표준 평가 지표인 BLEU를 사용하여 번역 품질을 평가하고 기준 대비 성능을 비교하기 위해.

실험 결과

연구 질문

• RQ1 기존의 잡음이 많은 병렬 코퍼스에서 최소한의 필터링을 통해 공개적으로 이용 가능한 고품질의 MSA 번역 벤치마크를 구성할 수 있는가?
• RQ2 정제된 데이터로 피지테이닝된 AraT5 모델은 다양한 언어 쌍에 걸쳐 다국어 MSA 번역에서 얼마나 효과적인가?
• RQ3 TURJUMAN의 다양한 디코딩 전략은 동일한 입력 문장을 기반으로 얼마나 다양한 어색한 번역을 생성할 수 있는가?
• RQ4 TURJUMAN은 아랍어 NMT 연구 및 응용 분야에서 강력하고 확장 가능한 기초 모델로 기능할 수 있는가?
• RQ5 데이터 품질 필터링은 자원이 적은 언어 쌍과 자원이 많은 언어 쌍 모두에서 번역 성능에 어떤 영향을 미치는가?

주요 결과

• 의미 유사도 기반 필터링을 통해 OPUS에서 유도된 고품질의 20개 언어 쌍 MSA 번역을 위한 벤치마크인 AraOPUS-20가 성공적으로 추출되고 공개되었다.
• AraOPUS-20 기반으로 피지테이닝된 TURJUMAN 툴킷은 MSA 번역 과제에서 경쟁 기준 대비 뛰어난 성능을 보였다.
• 툴킷은 다양한 디코딩 전략을 지원하여 동일한 입력에서 어색한 번역을 생성할 수 있도록 했다.
• 벤치마크 데이터셋에서 모델의 BLEU 점수는 보류된 테스트 세트에서 43.57에 도달하여 강력한 성능을 입증했다.
• TURJUMAN은 완전한 문서와 함께 공개되었으며, 즉시 사용이 가능하고 향후 더 큰 데이터셋으로의 확장도 가능하다.
• 툴킷은 표준 NLP 라이브러리와 호환되며, pip를 통해 설치 가능하여 광범위한 접근성과 통합을 보장한다.