[논문 리뷰] The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation

Patrick Fernandes, Daniel Deutsch외 8명|arXiv (Cornell University)|2023. 08. 14.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 PaLM-2와 같은 대규모 언어 모델(LM)을 활용하여 Multidimensional Quality Metrics(MQM) 프레임워크를 사용해 번역 오류를 식별하고 분류함으로써 세분화된 기계 번역 평가를 수행하는 프롬프팅 기법인 AutoMQM을 제안한다. 이는 세그먼트 수준에서 인간 평가와 높은 상관관계를 보이며, 특히 더 큰 모델에서 유의미한 성능 향상을 보이며, 해석 가능한 오류 구간을 제공함으로써 점수만 출력하는 프롬프팅 방식을 능가하고 있으며, 최신의 학습된 평가 지표와 유사한 오류 탐지 성능을 보이지만 인간 애너테이션을 최소화한다.

ABSTRACT

Automatic evaluation of machine translation (MT) is a critical tool driving the rapid iterative development of MT systems. While considerable progress has been made on estimating a single scalar quality score, current metrics lack the informativeness of more detailed schemes that annotate individual errors, such as Multidimensional Quality Metrics (MQM). In this paper, we help fill this gap by proposing AutoMQM, a prompting technique which leverages the reasoning and in-context learning capabilities of large language models (LLMs) and asks them to identify and categorize errors in translations. We start by evaluating recent LLMs, such as PaLM and PaLM-2, through simple score prediction prompting, and we study the impact of labeled data through in-context learning and finetuning. We then evaluate AutoMQM with PaLM-2 models, and we find that it improves performance compared to just prompting for scores (with particularly large gains for larger models) while providing interpretability through error spans that align with human annotations.

연구 동기 및 목표

• 단일 스칼라 점수만 출력하는 자동 기계 번역 평가 지표에서의 해석 가능성 부족 문제를 해결하기 위해.
• 대규모 언어 모델(LLM)이 최소한의 인간 애너테이션 데이터를 활용해 기계 번역의 세분화된 오류 탐지에 활용될 수 있는지 조사하기 위해.
• 이전 연구에서 제한적이었던 저자원 언어 쌍에서 LLM의 성능을 평가하기 위해.
• 인과적 프롬프팅 방법(예: AutoMQM)과 파인튜닝 및 점수 예측 기반 베이스라인 간의 인간 평가와의 상관관계를 비교하기 위해.
• LLM을 사용해 인간 애너테이션 오류 구간과 일치하는 MQM 유사 애너테이션을 생성할 수 있는지 탐색하기 위해.

제안 방법

• AutoMQM는 LLM이 번역의 오류 구간을 식별하고 MQM 프레임워크를 사용해 분류하도록 지시하는 프롬프팅 기법으로, 오류 유형과 심각도 수준을 포함한다.
• 이 방법은 전체 파인튜닝 없이도 소수의 인간 애너테이션 예시를 포함한 컨텍스트 학습을 활용하여 LLM이 오류 탐지 및 분류를 유도한다.
• PaLM 및 PaLM-2와 같은 LLM은 직접 점수 예측과 AutoMQM를 통한 오류 기반 평가 모두에 프롬프팅되어 다양한 설정에서 성능을 비교한다.
• 성능 평가는 표준 지표인 피어슨 상관계수(R), 평균 역수 순위(MR), 세그먼트 및 단어 수준에서의 F1 기반 스파니지 정밀도 및 재현율(SR, MR)을 사용한다.
• 이 방법은 다양한 언어 쌍, 특히 ZH-EN와 같은 저자원 언어 쌍을 포함한 WMT22 테스트 세트에서 평가되어 안정성과 확장성을 점검한다.
• 이 접근법은 LLM의 추론 능력과 컨텍스트 학습 능력을 활용하여 인간과 일치하는 이해 가능한 오류 애너테이션을 생성함으로써 품질 점수를 설명한다.

실험 결과

연구 질문

• RQ1 대규모 언어 모델은 MQM 프레임워크를 활용해 해석 가능성이 있는 세분화된 기계 번역 평가를 효과적으로 수행할 수 있는가?
• RQ2 AutoMQM는 세그먼트 수준에서 인간 평가와의 상관관계 측면에서 점수 예측 프롬프팅보다 어떻게 비교되는가?
• RQ3 인간 애너테이션 MQM 데이터에 대해 LLM을 파인튜닝하면 성능 향상이 이루어지며, 특히 작은 모델에서 그러한 향상이 두드러지는가?
• RQ4 자원이 부족한 언어 쌍에서 LLM 기반 평가 방법은 어떻게 성능을 발휘하는가?
• RQ5 AutoMQM를 통해 LLM이 예측한 오류 구간이 인간 애너테이션 오류 구간과 정밀도 및 재현율 측면에서 얼마나 일치하는가?

주요 결과

• AutoMQM로 프롬프팅한 PaLM-2 모델은 점수 예측 프롬프팅보다 인간 평가와 더 높은 세그먼트 수준 상관관계를 보이며, 특히 Unicorn과 같은 더 큰 모델에서 두드러진 성능 향상을 보였다.
• PaLM-2 Unicorn을 사용한 AutoMQM의 참조 없는 버전은 세그먼트 수준에서 경쟁적인 성능을 보였으며, 인간 평가와의 상관관계에서 EN-DE에서 최고의 학습된 지표와 유사한 성능(MCC = 0.143)을 기록했다.
• AutoMQM가 생성한 오류 구간은 주요 오류의 50퍼센트 이상을 정확히 식별했으며, ZH-EN에서 Unicorn은 주요 재현율(MR) 0.476을 기록하여 최신의 단어 수준 평가자들과 유사한 성능을 보였다.
• AutoMQM가 생성한 점수 분포는 점수 예측 프롬프팅보다 황금 표준 MQM 분포와 훨씬 유사했으며, 더 넓은 점수 범위를 가지며 인간 애너테이션 범위와 더 잘 일치했다.
• 인간 평가 데이터에 대해 LLM을 파인튜닝하면 세그먼트 수준 성능이 크게 향상되었으며, 특히 Bison과 같은 작은 모델에서 상태 최적의 학습된 지표와의 격차를 줄였다.
• AutoMQM는 모든 평가 지표에서 제로샷 점수 예측보다 뛰어나며, 오류 기반 프롬프팅이 더 정보가 풍부하고 정확한 평가를 제공한다는 점을 입증했다.