[논문 리뷰] Fine-grained evaluation of Quality Estimation for Machine translation based on a linguistically-motivated Test Suite

Eleftherios Avramidis, Vivien Macketanz외 2명|arXiv (Cornell University)|2019. 10. 16.

Natural Language Processing Techniques참고 문헌 13인용 수 9

한 줄 요약

이 논문은 기계 번역에서 문장 수준의 품질 평가(QE) 시스템의 세밀한 평가를 가능하게 하기 위해 언어학적으로 근거를 둔 테스트 세트를 도입한다. 오류를 14개의 언어학적 현상으로 분류하고 각 범주별로 QE 시스템 성능을 측정함으로써, 어떤 한 시스템도 모든 오류 유형에서 다른 시스템을 초월하지 못함을 드러내며, 시스템의 강점과 약점을 파악하는 데 있어 표적 평가의 가치를 입증한다.

ABSTRACT

We present an alternative method of evaluating Quality Estimation systems, which is based on a linguistically-motivated Test Suite. We create a test-set consisting of 14 linguistic error categories and we gather for each of them a set of samples with both correct and erroneous translations. Then, we measure the performance of 5 Quality Estimation systems by checking their ability to distinguish between the correct and the erroneous translations. The detailed results are much more informative about the ability of each system. The fact that different Quality Estimation systems perform differently at various phenomena confirms the usefulness of the Test Suite.

연구 동기 및 목표

• 기계 번역을 위한 품질 평가(QE)에서 언어학적으로 근거를 둔 평가의 부족을 해결하기 위해.
• 14개의 언어학적 오류 유형을 포함한 제어된 테스트 세트를 개발하여 QE 시스템의 세밀한 평가를 가능하게 하기 위해.
• 집계 점수에 의존하는 것 대신 특정 언어학적 현상에 따라 다른 QE 시스템의 성능을 평가하기 위해.
• 오류 유형별 성능 분석을 통해 기존 QE 시스템의 비교적 강점과 약점을 파악하기 위해.

제안 방법

• 테스트 세트는 전문 언어학자와 통역사가 제작하였으며, MQM 유형에서 유도된 14개의 오류 유형과 그 하위 유형을 포함한다.
• 각 오류 유형에 대해 패러다임을 구성하였고, 특정 언어학적 현상만을 격리시킬 수 있도록 원본 문장을 설계하였다.
• 기계 번역 시스템을 사용해 번역을 생성하고, 정규 표현식을 적용해 번역의 정확성에 따라 '통과' 또는 '실패'로 자동으로 레이블을 붙였다.
• 정확성을 확보하기 위해 모국어 사용자와 전문 통역사가 레이블을 검증하였다.
• 다섯 개의 QE 시스템이 각 범주에서 정확한 번역과 오류가 있는 번역을 구별하는 능력을 평가하였다.
• 성능은 각 오류 유형별로 측정되었고, 데이터 불균형을 방지하기 위해 범주 간 평균을 동일하게 계산하였다.

실험 결과

연구 질문

• RQ1 집계 점수 대비 특정 언어학적 오류 유형에서 다른 QE 시스템의 성능은 어떻게 다를까?
• RQ2 현재 QE 시스템에게 가장 도전적인 언어학적 현상은 무엇이며, 이는 시스템에 따라 어떻게 다를까?
• RQ3 언어학적으로 근거를 둔 테스트 세트는 성능이 유사한 QE 시스템 간 상호보완적인 강점을 드러낼 수 있는가?
• RQ4 테스트 세트 내 오류 유형의 분포가 전체 QE 성능 해석에 얼마나 영향을 미칠까?

주요 결과

• 모든 오류 유형에서 다른 시스템을 초월하는 단일 QE 시스템은 존재하지 않으며, B13, A17-basic, A17-full은 각각 5개의 다른 오류 유형에서 최고 점수를 기록한다.
• B13은 '미래 II 조건형 II' 시제 범주에서 가장 높은 정확도(78.0%)를 기록했고, A17-basic는 모호성(73%)과 복합어(76.9%)에서 뛰어난 성능을 보였다.
• A17-full은 동사 유형, 특히 반사동사와 transitive 구문에서 각각 61.2%와 68.7%의 정확도로 가장 뛰어난 성능을 보였다.
• 구문 분석 기반 시스템(B13, A17)은 장거리 의존성 문제에서 더 뛰어난 성능를 보였고, 구문 분석 기능이 없는 B17은 이 분야에서 성능이 열악했다.
• 전반적인 성능가 뛰어난 A17의 전체 시스템은 동사 시제 처리에서는 상대적으로 낮은 성능을 보였으며, 이는 일반 지표와 세밀한 오류 처리 능력 간의 괴리가 있음을 시사한다.
• B17은 부정된 모odal 어휘에서 70.3%의 정확도를 기록했으며, 이는 특정 오류 유형에서 놀라운 내성성을 보임을 시사한다.