[논문 리뷰] Towards Explainable Evaluation Metrics for Machine Translation

Christoph Leiter, Piyawat Lertvittayakumjorn외 4명|arXiv (Cornell University)|2023. 06. 22.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 기계 번역에서 설명 가능한 평가 지표를 위한 프레임워크를 제안하며, BERTScore나 COMET과 같은 블랙박스 지표에 대한 불신을 극복하기 위해 투명성을 주장한다. 특성 기여도, 펌다이션 분석, LLM 기반 설명과 같은 설명 가능성 기법들을 조사하며, 각 기법의 한계를 밝히고 인간의 판단에 충실하고 자연어로 표현된 설명을 제공하는 차세대 지표의 비전을 제시하여 NLP 연구 분야에서 신뢰성과 활용도를 높이고자 한다.

ABSTRACT

Unlike classical lexical overlap metrics such as BLEU, most current evaluation metrics for machine translation (for example, COMET or BERTScore) are based on black-box large language models. They often achieve strong correlations with human judgments, but recent research indicates that the lower-quality classical metrics remain dominant, one of the potential reasons being that their decision processes are more transparent. To foster more widespread acceptance of novel high-quality metrics, explainability thus becomes crucial. In this concept paper, we identify key properties as well as key goals of explainable machine translation metrics and provide a comprehensive synthesis of recent techniques, relating them to our established goals and properties. In this context, we also discuss the latest state-of-the-art approaches to explainable metrics based on generative models such as ChatGPT and GPT4. Finally, we contribute a vision of next-generation approaches, including natural language explanations. We hope that our work can help catalyze and guide future research on explainable evaluation metrics and, mediately, also contribute to better and more transparent machine translation systems.

연구 동기 및 목표

• 최근에 더 나은 성능을 보이는 블랙박스 지표가 존재하는 바에도 불구하고, 여전히 낮은 품질의 설명 불가능한 지표인 BLEU의 지속적인 지배를 해결하기 위해.
• 특히 블랙박스 성격으로 인한 투명성 부족과 사용자 신뢰도 저하로 인해 고품질 지표의 도입이 어려운 주요 과제를 규명하기 위해.
• 기계 번역 평가 지표의 기존 설명 가능성 기법을 체계적으로 분류하여 특성 중요도, 펌다이션에 대한 강건성, LLM 기반 설명에 중점을 두기 위해.
• 인간의 판단에 충실하고 자연어 설명을 통합하는 차세대 설명 가능한 지표의 비전을 제안하여 인간의 판단에 부합하는 신뢰성 있는 평가를 향한 발전을 이끌기 위해.
• 고위험 응용 분야에서 신뢰할 수 있고 감사 가능하며 법적 기준을 충족하는 AI를 위해 설명 가능한 지표의 개발을 촉진하기 위해.

제안 방법

• 기계 번역 지표의 기존 설명 가능성 기법을 세 가지 주요 패러다임으로 분류: 특성 기여도(예: 시알리언시 맵), 펌다이션 기반 강건성 테스트, LLM 기반 설명.
• NLP 분야의 사후 설명 가능성에서 유래한 분류 체계를 적용하여, 모델 접근 방식(화이트박스 대 비어드박스)과 설명 유형(예: 단어 수준 강조, 오류 레이블)에 따라 방법을 정리하기 위해.
• 충실도, 인간과의 일치도, 계산 가능성을 기준으로 현재의 접근 방식을 평가하여 기존 평가 관행의 격차를 규명하기 위해.
• 최근 LLM 발전(예: GPT-3.5, GPT-4)의 통찰을 통합하여 지표 결정에 대한 자연어 설명을 가능하게 하여 단순한 단어 강조를 넘어서기 위해.
• 충실도, 해석 가능성, 인간 중심의 추론을 통합하는 미래 지표의 비전을 제안하며, LLM을 활용해 근거 유사 설명을 생성하기 위해.
• 설명 자체의 철저한 평가 필요성을 강조하며, 설명이 실제 결정 과정을 반영하는지를 보장하기 위해 충실도 측정 기준을 도입할 것을 주장하기 위해.

실험 결과

연구 질문

• RQ1 설명 가능한 기계 번역 평가 지표의 핵심 성질과 목표는 무엇이며, 전통적 지표와 어떻게 다를까?
• RQ2 현재의 설명 가능성 기법들(예: 특성 기여도, 펌다이션 분석)이 BERTScore나 COMET과 같은 최신 지표의 점수를 얼마나 잘 설명할 수 있을까?
• RQ3 대규모 언어 모델(GPT-4 등)이 MT 지표 점수에 대해 충실도가 높고 인간이 이해할 수 있는 설명을 얼마나 잘 생성할 수 있을까?
• RQ4 충실도, 원본과 번역문 간의 대응, 다양한 작업 간 일반화 능력 측면에서 기존 설명 가능성 방법의 한계는 무엇일까?
• RQ5 차세대 설명 가능한 평가 지표 개발을 이끄는 설계 원칙과 바람직한 특성은 무엇일까?

주요 결과

• BERTScore나 COMET과 같은 고품질 지표는 인간 판단과 강한 상관관계를 보이지만, 블랙박스 성격으로 인해 여전히 활용도가 낮다.
• 특성 기여도 방법은 원본 문장과 번역문 간의 단어 수준 정렬을 고려하지 못해 잘못된 오류 강조를 초래할 수 있다.
• 펌다이션 기반 강건성 검사는 수동으로 정의된 펌다이션 유형이 필요하여 다양한 오류 패tern에 일반화하기 어려운 한계가 있다.
• 최근 LLM 기반 접근은 세밀한 오류 레이블링과 자연어 설명을 가능하게 하여 더 해석 가능한 평가로의 전환 가능성을 보여준다.
• 현재 설명 가능성 연구에서 충실도 평가가 부족하여 신뢰도가 저하되고 디버깅 및 고위험 응용 분야에서의 활용도가 제한된다.
• 설명 가능성은 더 이상 선택 사항이 아니라, 특히 고위험 번역 작업에서 규제 준수와 AI 시스템에 대한 신뢰 확보를 위해 필수적이게 될 것이다.