[논문 리뷰] Has Machine Translation Achieved Human Parity? A Case for Document-level Evaluation

Samuel Läubli, Rico Sennrich외 1명|arXiv (Cornell University)|2018. 08. 21.

Natural Language Processing Techniques인용 수 6

한 줄 요약

이 논문은 신경 기계 번역에서 인간 수준의 성능 달성을 도전하며, 전체 문서를 평가할 땐 전문 번역가들이 기계 번역보다 인간 번역을 더 선호하는 것으로 나타나지만, 고립된 문장 수준에선 그렇지 않음을 입증한다. 연구는 문서 수준의 맥락이 문맥 수준의 오류—예를 들어 어휘 일관성 부족이나 결속력 떨어짐—을 드러내어 문장 수준에선 보이지 않는다는 점을 밝혀내며, MT 연구에서 문서 수준 평가의 필수성을 강조한다.

ABSTRACT

Recent research suggests that neural machine translation achieves parity with professional human translation on the WMT Chinese--English news translation task. We empirically test this claim with alternative evaluation protocols, contrasting the evaluation of single sentences and entire documents. In a pairwise ranking experiment, human raters assessing adequacy and fluency show a stronger preference for human over machine translation when evaluating documents as compared to isolated sentences. Our findings emphasise the need to shift towards document-level evaluation as machine translation improves to the degree that errors which are hard or impossible to spot at the sentence-level become decisive in discriminating quality of different translation outputs.

연구 동기 및 목표

• 전체 문서와 고립된 문장 수준에서 평가할 때 인간 평가자가 인간 번역과 기계 번역을 구별할 수 있는지 조사하기 위해.
• 기존 평가 프로토콜에서 문서 수준 맥락이 부족해 인간 번역과 기계 번역 간 품질 차이가 가려질 수 있는지 평가하기 위해.
• 더 넓은 텍스트 맥락을 제공했을 때 전문 번역가들이 쌍대 비교 순위 매기기 방식으로 인간 번역의 뛰어난 품질을 감지할 수 있는지 평가하기 위해.
• 어휘 결속력과 일관성과 같은 어휘 수준의 현상이 인간이 번역 품질을 인지하는 데 핵심적인 역할을 한다는 가설을 탐색하기 위해.

제안 방법

• 전문 번역가들을 평가자로 활용한 쌍대 비교 순위 매기기 실험을 실시하여 문장 수준과 문서 수준 단위에서 인간 번역과 기계 번역을 비교하였다.
• 전문 번역가를 대상으로 통제된 평가 프로토콜을 적용하여 커뮤니티 기반 평가를 피하고 전문성과 일관성을 확보하였다.
• 전체 기사(6~10개 문장)를 평가자에게 제시하여 텍스트 결속력, 어휘 일관성, 어법적 구조를 평가할 수 있도록 문서 수준 맥락을 제공하였다.
• 적합성과 유창성 평가를 별도로 수집하였으며, 평가자는 절대 척도를 사용하는 대신 쌍대 비교 방식으로 순위를 매겼다.
• 문장 수준 평가에서 혼합된 판단이었지만 문서 수준 평가에선 인간 번역이 뚜렷이 선호된 사례를 분석하여 기계 번역에서 드러나는 특정 어휘 수준 오류를 특정하였다.
• 평가의 세분화 수준 간 결과를 비교하여 맥락이 인간이 번역 품질을 인지하는 데 미치는 영향을 분리 분석하였다.

실험 결과

연구 질문

• RQ1 문서 수준 맥락이 인간 평가자가 인간 번역과 기계 번역 간 품질 차이를 감지하는 데 도움이 되는가?
• RQ2 어휘 결속력과 일관성과 같은 어휘 수준 현상은 문서 수준 평가에서 문장 수준 평가보다 더 두드러지게 드러나는가?
• RQ3 신경 기계 번역이 이미 알려진 유창성 우월성을 지닌 바에도 불구하고, 유창성 평가자들이 적합성 평가자보다 인간 번역을 더 강하게 선호하는 이유는 무엇인가?
• RQ4 어휘 일관성 부족이나 잘못된 어법 연결어 사용 등의 오류가 문장 수준에선 드러나지 않지만 문서 수준에선 드러나는 정도는 어느 정도인가?
• RQ5 기존 평가 프로토콜에서 문서 수준 맥락이 부족해 기계 번역에서 인간 수준 성능 달성이라는 잘못된 주장이 내려질 수 있는가?

주요 결과

• 문서 전체를 평가할 때 인간 평가자들은 인간 번역을 기계 번역보다 통계적으로 유의미하게 선호하였으며, 특히 적합성 평가에서 그러한 경향이 뚜렷하였다.
• 동일한 평가자들 내에서도 문서 수준 평가에서 인간 번역에 대한 선호도가 문장 수준 평가보다 더 강했다.
• 문서 수준 평가에서는 기계 번역에서 특정 어휘 수준 오류가 드러났다. 예를 들어, 'WeChat Move the Car' vs. 'Twitter Move Car' 또는 'WeChat mobile' 등 문장 간 전문 용어 번역의 일관성 부족.
• 유창성 평가자들이 적합성 평가자보다 인간 번역을 더 강하게 선호한 것은, 기계 번역에서 모국어 영향이나 직역적인 표현 방식이 유창성 인식에 영향을 미칠 수 있음을 시사한다.
• 문장 수준 평가에서 판단이 엇갈렸던 사례들에서도 문서 수준 평가에선 항상 인간 번역이 선호되었으며, 이는 맥락이 고립된 상태에선 드러나지 않는 오류를 드러내기 때문임을 시사한다.
• 본 연구는 현재의 문장 수준 평가 프로토콜이 텍스트 결속력과 일관성과 관련된 품질 차이를 감지하지 못함을 확인하였으며, 이는 고급 번역에 있어 핵심적인 요소임을 시사한다.