[논문 리뷰] Beyond BLEU: Training Neural Machine Translation with Semantic Similarity

John Wieting, Taylor Berg-Kirkpatrick외 2명|arXiv (Cornell University)|2019. 09. 14.

Natural Language Processing Techniques참고 문헌 42인용 수 6

한 줄 요약

이 논문은 신경 기계 번역(NMT) 모델을 훈련시키기 위한 연속적인 의미 유사도 기반 보상 함수인 SimiLe를 제안한다. 기존의 BLEU 기반 최적화 방식을 대체한다. 사전에 훈련된 문장 임베딩을 사용해 생성된 번역과 기준 번역 간의 의미 유사도를 측정함으로써, 어휘적으로는 다를 수 있지만 의미적으로는 올바른 출력에 부분적인 점수를 부여할 수 있게 되어, 네 가지 언어 쌍에 대해 BLEU, 의미 유사도, 인간 평가 모두에서 수렴 속도 향상과 성능 향상을 이룬다.

ABSTRACT

While most neural machine translation (NMT) systems are still trained using maximum likelihood estimation, recent work has demonstrated that optimizing systems to directly improve evaluation metrics such as BLEU can substantially improve final translation accuracy. However, training with BLEU has some limitations: it doesn't assign partial credit, it has a limited range of output values, and it can penalize semantically correct hypotheses if they differ lexically from the reference. In this paper, we introduce an alternative reward function for optimizing NMT systems that is based on recent work in semantic similarity. We evaluate on four disparate languages translated to English, and find that training with our proposed metric results in better translations as evaluated by BLEU, semantic similarity, and human evaluation, and also that the optimization procedure converges faster. Analysis suggests that this is because the proposed metric is more conducive to optimization, assigning partial credit and providing more diversity in scores than BLEU.

연구 동기 및 목표

• BLEU가 NMT 훈련 목표로 사용될 때의 한계, 특히 부분 점수 부여의 부재와 어휘 변동에 대한 민감성 문제를 해결하기 위해.
• n-그램 정밀도보다 더 효과적이고 안정적인 훈련 신호가 될 수 있는 연속적인 의미 유사도 기반 메트릭이 실제로 가능할지 탐색하기 위해.
• 자동 메트릭뿐 아니라 인간 평가에서도 의미적으로 정확한 번역을 장려함으로써 NMT 성능 향상을 위해.
• 의미 유사도 최적화가 신경 기계 번역에서 더 빠른 수렴과 더 나은 일반화를 이끌어내는지 입증하기 위해.

제안 방법

• 사전에 훈련된 문장 임베딩 모델을 사용하여 생성된 번역과 기준 번역 간의 의미 유사도를 계산한다. 이 모델은 동의어 데이터로 훈련되었다.
• 보상 함수인 SimiLe는 생성된 가설의 임베딩과 기준 번역의 임베딩 간 코사인 유사도로 정의된다.
• 서브워드 단위(BPE 토큰 등)를 사용해 문장 임베딩을 구성함으로써, 단어 수준이나 문자-트리그램 접근 방식보다 성능과 효율성이 향상된다.
• 너무 짧은 번역을 방지하기 위해 길이 보정 항목을 적용한다.
• 최소 위험 훈련(MRT)을 통해 모델을 미세 조정하며, SimiLe 보상에 기반한 기울기가 역전파되어 더 높은 의미 유사도를 최적화하도록 한다.
• 이 방법은 WMT 2018 벤치마크의 네 가지 언어-영어 번역 작업에서 평가된다.

실험 결과

연구 질문

• RQ1 SimiLe와 같은 연속적인 의미 유사도 메트릭이 신경 기계 번역에서 BLEU보다 더 나은 훈련 목표로 작용할 수 있는가?
• RQ2 의미 유사도 최적화가 자동 평가 메트릭과 인간 평가 메트릭 양쪽 모두에서 더 나은 일반화와 성능 향상으로 이어지는가?
• RQ3 최적화 안정성과 수렴 속도 측면에서 SimiLe는 BLEU에 비해 어떻게 비교되는가?
• RQ4 SimiLe는 의미적으로는 올바르지만 어휘적으로는 다를 수 있는 번역에 대해 BLEU에 비해 얼마나 더 낮은 벌점을 적용하는가?
• RQ5 SimiLe로 훈련하면 의미적으로 중요한 단어의 번역 정확도가 향상되는가?

주요 결과

• SimiLe로 NMT 모델을 훈련한 결과, 체코어, 독일어, 러시아어, 터키어 등 네 가지 언어 쌍에 대해 모두 BLEU 점수에서 유의미한 향상을 보였으며, 이는 표준 평가 메트릭과의 더 나은 일치를 시사한다.
• SimiLe로 훈련한 모델는 BLEU로 훈련한 모델보다 더 높은 의미 유사도 점수를 기록했으며, 이는 의미 콘텐츠와의 더 나은 일치를 보여준다.
• 인간 평가 결과, 한 언어를 제외한 모든 언어에서 번역 품질 향상이 통계적으로 유의미하게 확인되었으며, SimiLe가 더 자연스럽고 정확한 번역을 이끌어낸다는 것을 확인한다.
• 의미 유사도 메트릭이 더 연속적이고 정보량이 많아, SimiLe를 사용할 경우 BLEU보다 최적화 과정이 더 빠르게 수렴한다.
• 분석 결과, SimiLe는 BLEU가 어휘 일치를 우선시하는 데 비해 의미적으로 중요한 단어를 더 정확히 유지하도록 모델을 유도하는 것으로 나타났다.