[논문 리뷰] Attaining the Unattainable? Reassessing Claims of Human Parity in Neural Machine Translation

Antonio Toral, Sheila Castilho외 2명|arXiv (Cornell University)|2018. 08. 30.

Natural Language Processing Techniques참고 문헌 14인용 수 5

한 줄 요약

이 논문은 더 엄격한 인간 평가 조건에서 마이크로소프트의 데이터셋을 재평가함으로써 중국어-영어 뉴스 번역 분야에서 신경 기계 번역(NMT)의 인간 수준 성능 달성 주장에 도전한다. 원본 원문(영어에서 번역된 것이 아닌)을 사용하고 전문 번역가들이 전체 맥락을 고려해 평가할 경우, 인간 번역과 기계 번역 간에 유의미한 차이가 존재함을 발견하였으며, 이는 인간 수준 성능 달성이 아직 이뤄지지 않았음을 시사한다.

ABSTRACT

We reassess a recent study (Hassan et al., 2018) that claimed that machine translation (MT) has reached human parity for the translation of news from Chinese into English, using pairwise ranking and considering three variables that were not taken into account in that previous study: the language in which the source side of the test set was originally written, the translation proficiency of the evaluators, and the provision of inter-sentential context. If we consider only original source text (i.e. not translated from another language, or translationese), then we find evidence showing that human parity has not been achieved. We compare the judgments of professional translators against those of non-experts and discover that those of the experts result in higher inter-annotator agreement and better discrimination between human and machine translations. In addition, we analyse the human translations of the test set and identify important translation issues. Finally, based on these findings, we provide a set of recommendations for future human evaluations of MT.

연구 동기 및 목표

• 더 철저한 인간 평가 기준을 적용하여 중국어-영어 번역 분야에서 NMT의 인간 수준 성능 주장에 대해 비판적으로 재평가하는 것.
• 원어로 작성된 중국어 원문(번역된 영어 원문)이 포함될 경우 인간 평가 결과가 기계 번역 성능에 유리하게 영향을 미치는지 조사하는 것.
• 평가자 전문성의 영향을 분석하여 상호 평가 일致도와 인간·기계 번역 간의 구분 능력에 미치는 영향을 평가하는 것.
• WMT 및 마이크로소프트 테스트 세트의 인간 기준 번역 품질을 점검하여 잠재적인 결함이나 기계 번역 후처리 영향을 파악하는 것.
• 향후 기계 번역의 인간 평가를 향상시키기 위한 실질적인 권고 사항을 제시하는 것.

제안 방법

• 원본 중국어 원문을 고립시킨 평가 프로토콜을 적용하여 WMT 2017 테스트 세트에서 마이크로소프트의 NMT 시스템을 재평가하는 방식으로 수행.
• 전문 번역가와 비전문 평가자 모두를 대상으로 인간 번역과 기계 번역 간의 쌍대 비교 평가를 수행.
• 다양한 평가자 집단 간 상호 평가 일치도(Implicit Agreement Analysis, IAA) 및 번역 품질 점수를 분석하여 일관성과 민감도 평가.
• 문장 수준의 고립이 아닌 전체 문서 맥락을 고려한 평가를 통해 문장 간 의존성 요소를 반영.
• WMT 및 마이크로소프트의 인간 기준 번역에서 언어적 문제를 식별하여 기계 번역 결과 후처리 또는 비전문 번역가의 작업 가능성을 제기.
• Hassan 등(2018)의 오픈 데이터 모델을 따르며, 익명화된 인간 평가 결과와 통계 분석 자료를 공개하여 재현 가능성과 투명성 확보.

실험 결과

연구 질문

• RQ1 원어로 작성된 중국어 원문(번역된 영어 원문)이 테스트 세트에 포함될 경우 인간 평가에서 기계 번역 점수가 인위적으로 높아지는가?
• RQ2 비전문 평가자에 비해 전문 번역가가 더 높은 상호 평가 일치도와 인간·기계 번역 간의 더 큰 차이를 구분할 수 있는가?
• RQ3 원본 원문을 사용하고 평가자가 전체 맥락 정보를 제공받을 경우, 인간 번역과 기계 번역 간 번역 품질에 통계적으로 유의미한 차이가 존재하는가?
• RQ4 WMT 및 마이크로소프트 테스트 세트의 인간 기준 번역이 비전문 번역 품질 또는 기계 번역 결과 후처리로 인해 얼마나 손상되었는가?
• RQ5 NMT 시스템의 발전에 따라 인간 평가가 여전히 신뢰성 있고 구분 능력 있는 평가 도구로 유지되기 위해 필요한 방법론적 개선 사항은 무엇인가?

주요 결과

• 영어에서 번역된 것이 아닌 원본 중국어 원문만을 대상으로 평가할 경우, 번역 품질에서 인간 수준 성능 달성이 아직 이뤄지지 않았다는 강력한 증거가 있다.
• 전문 번역가는 비전문 평가자에 비해 상호 평가 일치도가 유의미하게 높고 인간 번역과 기계 번역 간 품질 격차도 더 넓게 나타났다.
• 테스트 세트에 포함된 번역된 중국어 원문(translationese) 존재로 인해 기계 번역 점수가 높아졌으며, 이는 기계 번역에 유리한 혼동 요인으로 작용함을 시사한다.
• WMT 및 마이크로소프트의 인간 기준 번역에서 번역 오류가 발견되어 비전문 번역가의 작업 또는 기계 번역 결과 후처리 가능성을 시사한다.
• 본 연구는 인간 평가가 NMT 평가에 여전히 타당하고 필수적인 도구임을 확인하지만, 전문 평가자, 원본 원문, 전체 맥락 정보 제공 조건에서만 유효하다고 결론 내린다.
• 저자들은 향후 평가를 위해 원본 원문 사용, 전문 평가자 활용, 문서 수준 맥락 제공 등의 권고 사항을 제시한다. 이를 통해 번역 품질 평가의 강도와 공정성을 확보할 수 있다.