[논문 리뷰] Improve the Evaluation of Translation Fluency by Using Entropy of Matched Sub-segments

Hui Yu, Xiaofeng Wu외 3명|arXiv (Cornell University)|2015. 08. 10.

Natural Language Processing Techniques참고 문헌 9인용 수 3

한 줄 요약

이 논문은 가설 번역과 기준 번역 간에 일치하는 부분 단위의 분포를 분석함으로써 번역 유창성의 자동 평가를 향상시키기 위해 엔트로피 기반 방법을 제안한다. 특히 더 긴, 유창한 시퀀스일수록 엔트로피를 통해 유창성을 캡처함으로써 기존의 BLEU 및 METEOR와 같은 평가 지표를 개선하여 WMT 2010 및 WMT 2012에서 인간 평가와의 상관관계를 크게 향상시킨다.

ABSTRACT

The widely-used automatic evaluation metrics cannot adequately reflect the fluency of the translations. The n-gram-based metrics, like BLEU, limit the maximum length of matched fragments to n and cannot catch the matched fragments longer than n, so they can only reflect the fluency indirectly. METEOR, which is not limited by n-gram, uses the number of matched chunks but it does not consider the length of each chunk. In this paper, we propose an entropy-based method, which can sufficiently reflect the fluency of translations through the distribution of matched words. This method can easily combine with the widely-used automatic evaluation metrics to improve the evaluation of fluency. Experiments show that the correlations of BLEU and METEOR are improved on sentence level after combining with the entropy-based method on WMT 2010 and WMT 2012.

연구 동기 및 목표

• BLEU와 같은 n-gram 기반 평가 지표가 장문의 유창한 번역 시퀀스를 포착하지 못하는 데에 대응하기 위해.
• METEOR가 유창성 평가에서 일치하는 조각의 길이를 고려하지 못하는 데에 대비하기 위해.
• 일치하는 부분 단위의 엔트로피를 통해 유창성을 정량화하는 새로운 방법을 제안하기 위해.
• 기존 자동 평가 지표와 통합하여 성능을 향상시키기 위해.
• WMT 2010 및 WMT 2012와 같은 표준 벤치마크를 사용하여 방법의 효과성을 검증하기 위해.

제안 방법

• 가설 번역과 기준 번역 간의 일치하는 부분 단위의 엔트로피를 계산하여 유창성을 정량화한다.
• 일치하는 부분 단위는 단어 수준의 정렬 또는 청크 기반 메커니즘을 사용하여 식별된다.
• 엔트로피는 일치하는 조각의 길이 분포에 기반하여 계산되며, 더 균일한 분포가 더 높은 유창성임을 나타내도록 한다.
• 엔트로피 점수는 BLEU 및 METEOR와 같은 기존 지표와 조합되어 유창성 평가 능력을 향상시킨다.
• 이 방법은 모듈식으로 설계되어 표준 자동 평가 파이프라인에 쉽게 통합될 수 있다.
• 짧은 n-gram 일치보다 더 긴, 유창한 일치 조각에 초점을 맞추어 유창성 감지 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 일치하는 부분 단위의 엔트로피가 n-gram 기반 평가 지표보다 번역 유창성을 더 잘 반영할 수 있는가?
• RQ2 일치하는 조각의 길이 분포가 기계 번역에서 유창성 인식에 어떤 영향을 미치는가?
• RQ3 엔트로피 기반 점수화가 BLEU 및 METEOR의 인간 평가와의 상관관계를 어느 정도 향상시킬 수 있는가?
• RQ4 기존 지표와의 통합이 주요 재학습 없이 효과적으로 이루어질 수 있는가?
• RQ5 이 방법은 다양한 번역 평가 벤치마크에 일반화되는가?

주요 결과

• 엔트로피 기반 방법은 WMT 2010 및 WMT 2012 벤치마크에서 BLEU의 인간 평가와의 상관관계를 향상시켰다.
• 이 방법은 일치하는 청크의 길이 분포를 통합함으로써 METEOR의 유창성 평가 능력을 향상시켰다.
• 엔트로피 점수의 통합은 기준 지표보다 더 신뢰할 수 있는 문장 수준의 유창성 평가를 가능하게 하였다.
• 이 방법은 n-gram 지표가 놓치는 더 긴, 유창한 번역 시퀀스를 효과적으로 포착하였다.
• 결과는 다양한 평가 설정에서 일관된 향상을 보여주어 방법의 견고성을 확인시켰다.