[논문 리뷰] MLQE-PE: A Multilingual Quality Estimation and Post-Editing Dataset

Marina Fomicheva, Shuo Sun외 8명|arXiv (Cornell University)|2020. 10. 09.

Natural Language Processing Techniques참고 문헌 21인용 수 16

한 줄 요약

이 논문은 다국어 번역 품질 평가(QE) 및 자동 후편집(APE)를 위한 다국어 데이터셋인 MLQE-PE를 소개한다. 이 데이터셋은 11개의 어휘 쌍, 문장 수준의 직접 평가, 단어 수준의 양호/불량 레이블, 후편집된 번역을 포함하며, 독특하게도 기반 신경 번역(NMT) 모델에 대한 액세스를 제공함으로써 유리 상자(QE) 접근법을 가능하게 한다. 또한 고자원, 중간자원, 저자원 언어 쌍 모두에서 품질 평가 및 후편집 작업을 지원하며, 다양한 벤치마크에서 강력한 실험적 성과를 보였다.

ABSTRACT

We present MLQE-PE, a new dataset for Machine Translation (MT) Quality Estimation (QE) and Automatic Post-Editing (APE). The dataset contains eleven language pairs, with human labels for up to 10,000 translations per language pair in the following formats: sentence-level direct assessments and post-editing effort, and word-level good/bad labels. It also contains the post-edited sentences, as well as titles of the articles where the sentences were extracted from, and the neural MT models used to translate the text.

연구 동기 및 목표

• 기존 QE 데이터셋에서 공개된 신경 번역(NMT) 모델의 부족을 해결하여, 유리 상자 및 불확실성 기반 QE 접근법을 가능하게 한다.
• 직접 평가와 후편집 노력의 조합을 하나의 데이터셋에 통합하여, 번역 품질과 후편집 비용 간의 상관관계 분석을 가능하게 한다.
• QE가 가장 필요로 하지만 아직 부족하게 다뤄지고 있는 중간 및 저자원 언어 쌍(예: 니파리-영어, 신할라-영어)을 포함한다.
• 기사 제목을 통해 문서 수준의 맥락을 제공함으로써 맥락 인식 품질 평가를 향상시킨다.
• 후편집된 문장과 기준 번역을 포함함으로써 품질 평가 및 자동 후편집 연구를 동시에 지원한다.

제안 방법

• 데이터셋은 위키백과 기사들을 이용하여 구축되었으며, 문장을 추출하고 최신 오픈소스 NMT 모델(fairseq)을 사용하여 번역하였다.
• 인간 평가자들이 10,000개의 문장씩 각 언어 쌍에 대해 직접 평가(DA) 및 후편집 작업을 수행하였으며, 제로샷 평가를 위해 추가로 2,000개의 문장을 확보하였다.
• 기계 번역 결과의 오류를 식별하기 위해 단어 수준의 양호/불량 레이블을 할당하였다.
• 후편집된 문장을 수집하고 원본 번역 및 원본 텍스트와 쌍으로 묶어 APE 훈련 및 평가를 위해 활용하였다.
• 품질 평가에서 문서 수준의 맥락 모델링을 가능하게 하기 위해 기사 제목을 포함하였다.
• 공유 인코더-디코디어 아키텍처와 XLM-RoBERTa를 사용하여 기반 모델을 훈련하였으며, DA 및 HTER(Human Translation Error Rate) 작업에 대해 피나이팅하였다.

실험 결과

연구 질문

• RQ1 다양한 언어 쌍에서 번역 품질의 직접 평가와 후편집 노력 간의 상관관계는 어떻게 되는가?
• RQ2 기반 NMT 모델에 대한 액세스가 품질 평가 성능을 얼마나 향상시킬 수 있는가?
• RQ3 QE 모델은 고자원, 중간자원, 저자원 언어 쌍 간에 얼마나 잘 일반화되는가?
• RQ4 기사 제목을 통한 문서 수준의 맥락이 문장 수준 및 단어 수준의 품질 평가를 향상시키는가?
• RQ5 통합된 모델은 품질 평가 및 후편집 작업 양쪽에서 얼마나 잘 성능을 내는가?

주요 결과

• 루마니아어-영어 쌍에서 직접 평가에 대해 피어슨 상관계수 0.818을 기록하여 중자원 언어 쌍에서 뛰어난 성능을 보였다.
• HTER 예측에서 루마니아어-영어 쌍에서 상관계수 0.862를 기록하여 후편집 노력 예측의 높은 일관성을 보였다.
• 단어 수준 예측에서 니파리-영어 쌍에서 '불량' 단어의 F1 점수가 0.828에 도달하여 저자원 언어 쌍에서 뛰어난 성능을 입증했다.
• 모든 언어 쌍에서 '양호' 단어의 평균 F1 점수는 단어 수준에서 0.717이었으며, 올바른 번역의 신뢰성 있는 탐지 능력을 보였다.
• 모든 언어 쌍에서 직접 평가의 평균 피어슨 상관계수는 0.541이었으며, 인간 평가와 중간에서 강한 일치를 보였다.
• 이 데이터셋은 WMT2020 및 WMT2021 공동 과제에서 성공적으로 활용되어 QE 및 APE 연구에 대한 유용성을 검증했다.