[논문 리뷰] Translation Quality Assessment: A Brief Survey on Manual and Automatic Methods

Lifeng Han, Gareth J. F. Jones외 1명|arXiv (Cornell University)|2021. 05. 05.

Natural Language Processing Techniques참고 문헌 131인용 수 14

한 줄 요약

이 논문은 수동 및 자동 번역 품질 평가(TQA) 방법에 대한 종합적이고 간결한 서베이를 제시하며, 이를 전통적 및 고급 프레임워크로 분류한다. 인간 평가 기준—예를 들어 유창성, 적절성, 이해도—와 자동화된 메트릭스—n-그램, 언어적 특징 기반, 딥러닝 기반 모델—를 평가하여 기계 번역 연구 및 요약, 생성과 같은 더 넓은 자연어 처리(NLP) 과제에서의 역할을 부각시킨다.

ABSTRACT

To facilitate effective translation modeling and translation studies, one of the crucial questions to address is how to assess translation quality. From the perspectives of accuracy, reliability, repeatability and cost, translation quality assessment (TQA) itself is a rich and challenging task. In this work, we present a high-level and concise survey of TQA methods, including both manual judgement criteria and automated evaluation metrics, which we classify into further detailed sub-categories. We hope that this work will be an asset for both translation model researchers and quality assessment researchers. In addition, we hope that it will enable practitioners to quickly develop a better understanding of the conventional TQA field, and to find corresponding closely relevant evaluation solutions for their own needs. This work may also serve inspire further development of quality assessment and evaluation methodologies for other natural language processing (NLP) tasks in addition to machine translation (MT), such as automatic text summarization (ATS), natural language understanding (NLU) and natural language generation (NLG).

연구 동기 및 목표

• 기계 번역 및 자연어 처리(NLP) 분야의 연구자들을 위해 번역 품질 평가(TQA) 방법에 대한 체계적인 개요를 제공하기 위해.
• 전통적(예: 유창성, 적절성) 및 고급(예: 수정 편집, 군중 기반 직접 평가) 방법을 포함한 수동 인간 평가 기법을 분류하고 비교하기 위해.
• 자동 TQA 메트릭스를 분석하고, n-그램 매칭, 언어적 특징 통합, 딥러닝 기반 접근법으로 그룹화하기 위해.
• 요약, 자연어 이해, 생성과 같은 관련 NLP 과제에 TQA 방법론의 관련성을 부각하기 위해.
• 각 TQA 기법의 강점, 한계, 응용 분야를 명확히 하여 연구자들이 적절한 평가 방법을 선택하는 데 지원하기 위해.

제안 방법

• 수동 평가를 전통적(이해 가능성, 충실도, 유창성, 적절성, 이해도) 및 고급(임무 중심, 수정 편집, 세그먼트 순위 매기기, 군중 기반 직접 평가) 기법으로 분류한다.
• 자동 TQA 를 세 단계로 분류한다: n-그램 표면 매칭(BLEU, WER, PER, TER 등), 언어적 특징 통합(NIST, METEOR, F-measure 등), 딥러닝 모델(LEPOR, hLEPOR, nLEPOR 등).
• 황금 표준 순위가 필요 없이 외부 기준 값만으로도 제안된 순위의 가치를 측정하는 데 사용할 수 있는 순위 평가를 위한 DeltaAvg 메트릭스를 도입한다.
• 황금 표준 값에 대한 품질 예측(QE) 점수를 평가하기 위해 표준 회귀 메트릭스—평균 절대 오차(MAE) 및 최소 제곱근 오차(RMSE)—를 사용한다.
• 핵심 메트릭스의 수학적 수식을 제시한다. BLEU(이중 평가 페널티 포함), METEOR(길이 및 위치 페널티 포함), LEPOR(정밀도와 재현율의 조화 평균에 페널티 포함).
• 최근 품질 예측(QE) 분야의 발전을 검토한다. 약한 지도 학습 및 비지도 학습 기반 QE 모델과 함께 WMT2019 및 QE 공동 작업(Fonseca 등, 2019; Specia 등, 2020)을 포함한다.

실험 결과

연구 질문

• RQ1 기계 번역 품질 평가에 있어 전통적 및 고급 수동 평가 기법은 기준과 응용에서 어떻게 다릅니까?
• RQ2 기계 번역 평가에 사용되는 주요 자동 메트릭스는 무엇이며, 설계 및 성능 면에서 어떻게 다릅니까?
• RQ3 LEPOR 및 그 변종과 같은 딥러닝 기반 메트릭스는 기존의 n-그램 및 언어적 특징 기반 메트릭스보다 어떻게 향상됩니까?
• RQ4 품질 예측(QE) 메트릭스는 자원이 적거나 기준이 없는 환경에서 기존 기준 기반 평가의 대체로 얼마나 효과적으로 기능합니까?
• RQ5 TQA 방법론은 요약, 자연어 생성, 이해 등 다른 NLP 과제에 어떻게 적응 및 적용될 수 있습니까?

주요 결과

• DeltaAvg 메트릭스는 기준 순위가 필요 없이 외부 기준 값만으로도 제안된 순위의 가치를 평가함으로써 순위 상관관계의 기준 없는 대안을 제공한다.
• MAE 와 RMSE 는 품질 예측에 효과적이고 결정적이며 해석 가능한 메트릭스이며, MAE 는 주요 메트릭스로, RMSE 는 보조 메트릭스로 사용된다.
• LEPOR 와 그 변종(nLEPOR, hLEPOR)은 길이 페널티, 위치 차이, 정밀도와 재현율의 조화 평균을 통합함으로써 기존 메트릭스를 초월한다.
• 최근 품질 예측(QE) 분야의 발전은 기준이 없는 평가를 가능하게 하였으며, WMT2019 와 같은 공동 작업들은 QE 를 주요 기계 번역 평가에 통합하였다.
• QE 와 전통적 기계 번역 평가 간의 통합은 진화 중이며, 공동 작업들을 통해 상호 이점이 드러나고 평가의 강건성이 향상되고 있다.
• 이 서베이에서는 딥러닝 모델이 TQA 를 발전시키고 있음에도 불구하고, 제어된 환경에서의 해석 가능성과 일관성 덕분에 전통적 메트릭스가 여전히 관련성이 있음을 강조한다.