[논문 리뷰] An Automatic Machine Translation Evaluation Metric Based on Dependency Parsing Model

Hui Yu, Xiaofeng Wu외 3명|arXiv (Cornell University)|2015. 08. 09.

Natural Language Processing Techniques참고 문헌 13인용 수 9

한 줄 요약

이 논문은 수동으로 정의된 하위 구조에 의존하지 않고, 가설 번역과 기준 번역 간의 문법적 유사도를 평가하기 위해 최대 엔트로피 의존성 파싱 모델을 활용하는 새로운 기계 번역 평가 지표인 DPMF를 제안한다. 기준 의존성 트리에 대해 파서를 훈련하고, 그 결과로 도출된 확률 점수를 가설 트리에 적용함으로써 문법적 유사도를 측정하며, 어휘적 유사도 평가를 위해 유니그램 F-스코어를 결합함으로써, WMT 2012–2014 데이터셋에서 시스템 수준 평가에서 최고 성능을 기록하고 문장 수준 상관관계에서 METEOR와 유사한 결과를 얻는다.

ABSTRACT

Most of the syntax-based metrics obtain the similarity by comparing the sub-structures extracted from the trees of hypothesis and reference. These sub-structures are defined by human and can't express all the information in the trees because of the limited length of sub-structures. In addition, the overlapped parts between these sub-structures are computed repeatedly. To avoid these problems, we propose a novel automatic evaluation metric based on dependency parsing model, with no need to define sub-structures by human. First, we train a dependency parsing model by the reference dependency tree. Then we generate the hypothesis dependency tree and the corresponding probability by the dependency parsing model. The quality of the hypothesis can be judged by this probability. In order to obtain the lexicon similarity, we also introduce the unigram F-score to the new metric. Experiment results show that the new metric gets the state-of-the-art performance on system level, and is comparable with METEOR on sentence level.

연구 동기 및 목표

• 수동으로 정의된 하위 구조에 의존하는 문법 기반 기계 번역 평가 지표의 한계를 해결하기 위해, 이는 트리 정보를 완전히 표현하지 못하고 반복적인 오버랩 계산 문제를 야기한다.
• 하위 구조 비교가 아닌 의존성 트리 생성을 통해 문법적 유사도를 평가하는 자동 평가 지표를 개발하기 위해.
• 유니그램 F-스코어를 통한 어휘적 유사도 통합을 통해 지표의 단어 수준 정렬을 포착하는 능력을 향상시키기 위해.
• 다양한 WMT 벤치마크 데이터셋에서 시스템 수준 기계 번역 평가에서 최고 성능을 달성하고 문장 수준 평가에서 경쟁적인 결과를 도출하기 위해.

제안 방법

• 기준 번역의 의존성 트리에 기반하여 최대 엔트로피 기반의 시프트-리덕스 의존성 파서를 훈련하여 전이 확률을 학습한다.
• 훈련된 모델을 사용해 가설 의존성 트리를 생성하고, 그 확률 점수를 산출함으로써 문법적 유사도를 측정한다.
• 영점 확률을 방지하고 안정적인 확률 추정을 보장하기 위해 소프트맥스 유사 함수를 사용해 전이 점수를 정규화한다.
• 가설과 기준 간의 어휘적 유사도를 평가하기 위해 유니그램 F-스코어를 적용하여 지표의 어휘 오버랩 감지 민감도를 향상시킨다.
• 의존성 파싱 확률과 F-스코어를 융합하여 최종 평가를 위한 하이브리드 지표인 DPMF를 구성한다.
• 인간 평가와의 상관관계를 평가하기 위해 켄달의 τ 상관계수를 사용하여 문장 수준 성능을 평가한다.

실험 결과

연구 질문

• RQ1 기준 번역에 대해 훈련된 의존성 파싱 모델이 수동으로 정의된 하위 구조에 의존하지 않고도 가설 번역의 문법적 품질을 효과적으로 평가할 수 있는가?
• RQ2 제안된 파싱 기반 지표의 성능이 BLEU, TER, METEOR와 같은 기존 지표와 시스템 수준 평가에서 어떻게 비교되는가?
• RQ3 유니그램 F-스코어를 통합함으로써 지표의 어휘적 유사도 포착 능력과 인간 평가와의 총상관관계는 어느 정도 향상되는가?
• RQ4 제안된 DPMF 지표가 다수의 WMT 벤치마크 데이터셋에서 시스템 수준 평가에서 최고 성능을 달성하는가?

주요 결과

• DPMF는 WMT 2012, WMT 2013, WMT 2014에서 시스템 수준 상관관계에서 최고 성능을 기록했으며, 여러 언어 쌍에서 BLEU, TER, METEOR를 모두 초월한다.
• WMT 2012에서 DPMF는 최고의 단일 지표인 SEMPOS보다 1.3점 향상되었고, 최고의 하이브리드 지표인 spede07_pP의 성능을 그대로 따라잡았다.
• WMT 2013에서 DPMF는 METEOR보다 평균적으로 2.3점 높은 상관관계를 기록했으며, fr-en 이외의 모든 언어 쌍에서 이를 능가했다.
• WMT 2014에서 DPMF는 최고의 단일 지표인 VERTA-W보다 1.4점 향상되었고, 하이브리드 지표인 DISCOTK-PARTY를 초월했다.
• 문장 수준 평가에서 DPMF는 세 가지 WMT 데이터셋에서 METEOR와 유사한 성능을 보였으며, 기본 DPM 지표보다는 뚜렷한 향상이 있었다.
• DPMF에 유니그램 F-스코어를 통합함으로써 성능 향상이 크게 발생했으며, 이는 어휘적 유사도 포착 능력의 효과성을 확인한다.