[논문 리뷰] An Overview on Machine Translation Evaluation

Lifeng Han|arXiv (Cornell University)|2022. 02. 22.

Natural Language Processing Techniques인용 수 6

한 줄 요약

이 논문은 기계 번역 평가(MTE)에 대한 종합적인 개요를 제공하며, 역사를 다루고 평가 방법의 분류, 최신 기술 발전까지 포함한다. 인간 평가 및 자동 평가 기법—기준 번역 기반 및 기준 번역 독립적 접근 방식—을 검토하며, 신뢰성에 대한 메타평가까지 다루며, 과제 기반 평가, 사전 훈련된 언어 모델, 경량 최적화를 위한 지식 정복 기반 기여를 중심으로 한다.

ABSTRACT

Since the 1950s, machine translation (MT) has become one of the important tasks of AI and development, and has experienced several different periods and stages of development, including rule-based methods, statistical methods, and recently proposed neural network-based learning methods. Accompanying these staged leaps is the evaluation research and development of MT, especially the important role of evaluation methods in statistical translation and neural translation research. The evaluation task of MT is not only to evaluate the quality of machine translation, but also to give timely feedback to machine translation researchers on the problems existing in machine translation itself, how to improve and how to optimise. In some practical application fields, such as in the absence of reference translations, the quality estimation of machine translation plays an important role as an indicator to reveal the credibility of automatically translated target languages. This report mainly includes the following contents: a brief history of machine translation evaluation (MTE), the classification of research methods on MTE, and the the cutting-edge progress, including human evaluation, automatic evaluation, and evaluation of evaluation methods (meta-evaluation). Manual evaluation and automatic evaluation include reference-translation based and reference-translation independent participation; automatic evaluation methods include traditional n-gram string matching, models applying syntax and semantics, and deep learning models; evaluation of evaluation methods includes estimating the credibility of human evaluations, the reliability of the automatic evaluation, the reliability of the test set, etc. Advances in cutting-edge evaluation methods include task-based evaluation, using pre-trained language models based on big data, and lightweight optimisation models using distillation techniques.

연구 동기 및 목표

• 다양한 기술적 시대에 걸쳐 기계 번역 평가(MTE)의 진화와 현재 상태를 체계적으로 개괄하는 것.
• 기준 번역 기반 및 기준 번역 독립적 평가 접근 방식을 포함한 MTE의 연구 방법을 분류하고 분석하는 것.
• 메타평가를 통해 인간 평가, 자동 평가 지표, 테스트 세트의 신뢰성과 신뢰도를 조사하는 것.
• 과제 기반 평가 및 사전 훈련된 언어 모델의 활용과 같은 최근 평가 기법의 발전을 탐구하는 것.
• 자원이 제한된 환경에서 효율적인 평가를 위해 지식 정복 기반 경량 최적화 전략을 검토하는 것.

제안 방법

• MTE를 수동 평가와 자동 평가로 분류하고, 기준 번역 기반 및 기준 번역 독립적 방법으로 추가로 분류한다.
• n-그램 문자열 매칭 기반 기존 자동 평가 방법(예: BLEU, METEOR)을 검토한다.
• 표면 수준의 매칭을 넘어서 구문 및 의미를 통합한 모델이 평가 성능을 향상시키는 방식을 분석한다.
• 인간 평가 점수를 예측하기 위해 신경망을 활용하는 딥러닝 기반 자동 평가 모델을 검토한다.
• 인간 애너테이션, 자동 평가 지표, 테스트 세트 품질의 신뢰도를 평가하기 위한 메타평가 기법을 소개한다.
• 최근 혁신으로서 과제 기반 평가, 대규모 사전 훈련된 언어 모델의 활용, 효율적 평가를 위한 정복 기반 경량 모델에 대해 논의한다.

실험 결과

연구 질문

• RQ1 규칙 기반 시스템에서 신경망 기반 시스템으로의 기계 번역 평가 방법은 어떻게 진화해 왔는가?
• RQ2 기준 번역 기반 평가와 기준 번역 독립적 평가 간의 강점과 한계는 무엇인가?
• RQ3 메타평가를 통해 인간 애너테이션과 자동 평가 지표의 신뢰성은 어떻게 평가할 수 있는가?
• RQ4 사전 훈련된 언어 모델은 자동 평가 지표와 인간 평가 간의 일치도를 얼마나 향상시키는가?
• RQ5 지식 정복 기법을 활용하면 모델 크기를 줄이면서도 평가 성능을 유지할 수 있는가?

주요 결과

• 기준 번역이 확보되지 않은 저자원 환경에서 실용성이 높기 때문에 기준 번역 독립적 평가 방법이 점점 더 널리 사용되고 있다.
• 메타평가 기법은 편향과 일관성 없는 점을 탐지함으로써 인간 애너테이션과 자동 평가 지표의 성능에 대한 신뢰도를 크게 향상시킨다.
• 사전 훈련된 언어 모델은 복잡한 언어적 현상에서 자동 평가 지표와 인간 평가 간의 상관관계를 향상시켰다.
• 지식 정복은 계산 비용을 줄이고도 높은 성능을 유지하는 경량이고 효율적인 평가 모델을 생성하는 데 기여한다.
• 과제 기반 평가는 질문 응답이나 요약과 같은 후속 과제 성능을 측정함으로써 번역 품질에 대한 보다 종합적인 평가를 제공한다.
• 다양한 도메인과 언어 쌍에서의 강건성과 일반화를 확보하는 데는 여전히 도전 과제가 남아 있다.