[논문 리뷰] Identifying Weaknesses in Machine Translation Metrics Through Minimum Bayes Risk Decoding: A Case Study for COMET

Chantal Amrhein, Rico Sennrich|arXiv (Cornell University)|2022. 02. 10.

Natural Language Processing Techniques인용 수 13

한 줄 요약

이 논문은 신경 기계 번역 평가 지표인 COMET의 숨겨진 편향을 드러내기 위해 표본 기반 최소 베이즈 손실(MBR) 디코딩을 사용하는 것을 제안한다. 다각도의 번역 후보를 생성하고, 이를 평가 지표를 유틸리티 함수로 삼아 후보를 선택함으로써, 저자들은 COMET가 수치와 명명된 실체 오류에 대해 특히 영어-독일어 및 독일어-영어 번역 방향에서 민감도가 낮다는 것을 밝혀내었으며, 합성 데이터로 재학습한 후에도 이러한 약점이 여전히 존재함을 입증한다.

ABSTRACT

Neural metrics have achieved impressive correlation with human judgements in the evaluation of machine translation systems, but before we can safely optimise towards such metrics, we should be aware of (and ideally eliminate) biases toward bad translations that receive high scores. Our experiments show that sample-based Minimum Bayes Risk decoding can be used to explore and quantify such weaknesses. When applying this strategy to COMET for en-de and de-en, we find that COMET models are not sensitive enough to discrepancies in numbers and named entities. We further show that these biases are hard to fully remove by simply training on additional synthetic data and release our code and data for facilitating further experiments.

연구 동기 및 목표

• 신경 기계 번역 평가 지표(예: COMET)의 숨겨진 편향을 특정하지 못하는 이유를 밝혀내기 위해, 이러한 지표의 블랙박스 성격으로 인해 드러나지 않을 수 있는 편향을 규명하는 것.
• COMET의 평가 점수가 번역 과정에서 수치나 명명된 실체 오류에 대해 얼마나 견고한지 조사하는 것.
• 합성 데이터로 COMET를 재학습함으로써 이러한 오류에 대한 민감도 격차를 완전히 제거할 수 있는지 평가하는 것.
• 다양한 번역 후보를 활용한 MBR 디코딩을 통해 평가 지표의 감지 불가 영역을 탐지하는 방법을 개발하고 검증하는 것.
• 재현 가능성과 평가 지표의 견고성에 대한 향후 연구를 가능하게 하기 위해 오픈소스 코드와 데이터를 제공하는 것.

제안 방법

• 표본 기반 MBR 디코딩을 사용하여 다각도의 번역 후보를 생성하고, 이를 COMET를 유틸리티 함수로 사용해 점수를 매기는 방식.
• COMET를 점수 함수로 삼아 다각도의 번역 후보 중 최고의 후보를 선택하기 위해 MBR 디코딩을 적용하는 방식.
• 수치, 명명된 실체 또는 무작위 명사 등을 수정하여 원천 문장을 대상으로 펌프팅하여 MBR로 선택된 출력에서 민감도 변화를 측정하는 방식.
• MBR로 선택된 후보를 COMET 점수로 평가하고 기준 번역과 비틀림 검색 출력을 비교하여 민감도 차이를 정량화하는 방식.
• 편향 감소가 가능한지 테스트하기 위해 오차가 있는 예시를 포함한 합성 데이터로 COMET를 재학습하는 방식.
• 오라클 실험을 수행하여 기준 번역과의 유사도에 기반해 최고의 후보를 선택함으로써 MBR의 후보 비교 설정이 미치는 영향을 분리하는 방식.

실험 결과

연구 질문

• RQ1 COMET가 MBR 디코딩의 유틸리티 함수로 사용될 때 수치나 명명된 실체 오류에 대해 부족한 민감도를 보이는가?
• RQ2 오차가 있는 예시를 포함한 합성 데이터로 COMET를 재학습함으로써 수치나 명명된 실체 오류에 대한 민감도 부족을 완전히 제거할 수 있는가?
• RQ3 COMET를 사용한 MBR 디코딩 전략은 BLEU나 chrF++와 같은 비신경 기반 평가 지표와 비교해 이러한 오류를 탐지하는 데 얼마나 효과적인가?
• RQ4 관찰된 COMET의 약점은 MBR 설정의 영향인지, 아니면 평가 지표 자체의 본질적 한계 때문인가?
• RQ5 특히 en→de 및 de→en 번역 방향에서 검출된 COMET의 편향은 얼마나 견고한가?

주요 결과

• 수치나 명명된 실체 오류가 도입되었을 때 MBR 점수의 변화가 미미하여, 수치나 명명된 실체 오류에 비해 무작위 명사 오류에 비해 COMET의 민감도가 상당히 낮음을 확인할 수 있었다.
• MBR 디코딩에서 COMET는 잘못된 수치(예: 1970이 아닌 1980)나 잘못된 실체 이름(예: 'Mahmud'가 아닌 'Mahmoud')을 포함한 후보를 높은 빈도로 선택함으로써 심각한 감지 불가 영역을 드러냈다.
• 합성 데이터로 오차가 있는 예시를 포함해 재학습한 후에도 COMET는 여전히 수치나 명명된 실체 오류에 대해 상당한 민감도 부족을 유지하며, MBR 점수 변화가 지속적으로 낮게 유지됨을 확인했다.
• 오라클 실험 결과, 문제의 원인이 MBR 설정 자체는 아니며, 기준 번역 유사도에 기반해 최고의 후보를 선택할 경우 성능 향상이 이루어지지만, COMET는 여전히 비신경 기반 평가 지표보다 명명된 실체 오류에 대해 성능이 열 劣하다.
• 민감도 분석 결과, COMET의 경우 무작위 명사 변경이 수치나 명명된 실체 변경보다 더 큰 MBR 점수 변화를 유도함을 확인하여, 역설적이게도 편향이 존재함을 시사했다.
• en→de 및 de→en 양방향 모두에서 COMET의 수치 및 명명된 실체 오류에 대한 민감도는 낮게 유지되었으며, 평균 MBR 점수 차이가 각각 -0.047 및 -0.069로 나타나 언어 쌍 간에 일관된 약점이 있음을 보여주었다.