[논문 리뷰] Revisiting Round-Trip Translation for Quality Estimation

Jihyung Moon, Hyunchang Cho외 1명|arXiv (Cornell University)|2020. 04. 29.

Natural Language Processing Techniques참고 문헌 26인용 수 14

한 줄 요약

이 논문은 기계 번역 품질 평가를 위한 라운드트립 번역(RTT)을 재검토하며, BLEU와 같은 어휘적 지표 대신 SBERT와 BERTScore 기반의 의미 유사도 측정법을 도입한다. 이는 WMT19에서 인간 평가와 가장 높은 상관관계를 보이며, YiSi-2와 같은 최신 품질 평가(QE) 방법을 능가하고, 다양한 역번역 시스템과 SMT 및 NMT 기반의 전방 번역 모델 모두에서 안정성을 보인다.

ABSTRACT

Quality estimation (QE) is the task of automatically evaluating the quality of translations without human-translated references. Calculating BLEU between the input sentence and round-trip translation (RTT) was once considered as a metric for QE, however, it was found to be a poor predictor of translation quality. Recently, various pre-trained language models have made breakthroughs in NLP tasks by providing semantically meaningful word and sentence embeddings. In this paper, we employ semantic embeddings to RTT-based QE. Our method achieves the highest correlations with human judgments, compared to previous WMT 2019 quality estimation metric task submissions. While backward translation models can be a drawback when using RTT, we observe that with semantic-level metrics, RTT-based QE is robust to the choice of the backward translation system. Additionally, the proposed method shows consistent performance for both SMT and NMT forward translation systems, implying the method does not penalize a certain type of model.

연구 동기 및 목표

• 인간 기반 평가 없이도 라운드트립 번역(RTT)이 품질 평가(QE) 방법으로 유의미한지 재평가하는 것.
• 어휘적 지표인 BLEU의 한계를 극복하기 위해 의미 수준의 유사도 측정법이 RTT 기반 QE에서 효과적인지 조사하는 것.
• 다양한 역번역 시스템과 전방 번역 아키텍처(SMT 대 NMT) 간의 RTT 기반 QE의 안정성 평가.
• 어느 지표의 복구 문장 탐지 능력이 RTT 기반 QE 성능과 관련이 있는지 규명하는 것.

제안 방법

• 원본 문장과 그 라운드트립 번역 간의 의미 유사도를 계산하기 위해 SBERT와 BERTScore를 활용한다.
• 문장의 맥락을 반영하는 문장 임베딩을 생성하기 위해 사전 학습된 언어 모델을 사용한다.
• SBERT 임베딩 간 코사인 유사도와 단어 수준 임베딩 간 BERTScore F1 점수를 활용하여 문장 수준의 유사도를 측정한다.
• WMT19 품질 평가 데이터셋에서 인간 평가와의 피어슨 상관계수를 활용해 RTT 기반 QE를 평가한다.
• 다양한 역번역 시스템과 전방 번역 시스템(SMT 및 NMT) 간 성능을 비교한다.
• PAWS 데이터셋에서의 성능 평가를 통해 지표의 복구 문장 탐지 능력을 평가한다.

실험 결과

연구 질문

• RQ1 SBERT와 BERTScore와 같은 의미 수준의 유사도 측정법이 BLEU와 같은 어휘적 지표에 비해 RTT 기반 품질 평가 성능을 향상시킬 수 있는가?
• RQ2 RTT 기반 QE는 역번역 시스템의 변동에 얼마나 강건한가?
• RQ3 SMT와 NMT 기반의 전방 번역 아키텍처 간에 RTT 기반 QE 성능이 일관된가?
• RQ4 RTT 기반 QE 성능이 지표의 복구 문장 탐지 능력과 어느 정도 상관이 있는가?

주요 결과

• RTT와 SBERT, BERTScore는 WMT19 QE 공동 과제에서 인간 평가와 가장 높은 피어슨 상관관계를 기록했으며, YiSi-2 및 기타 기준 모델을 능가했다.
• RTT-SBert와 RTT-BERTScore는 다양한 역번역 시스템에서 일관된 성능을 보이며, BT 모델 선택에 대한 강건성을 입증했다.
• 전방 번역 시스템 간 격차가 클 경우 BLEU와 유사한 성능을 보이며, 뛰어난 일반화 능력을 보였다.
• SBERT와 BERTScore는 특히 재정렬되거나 재구성된 입력에서 어휘적 지표(BLEU 및 chrF)보다 복구 문장 탐지 능력에서 뚜렷한 승리를 거두었다.
• PAWS 데이터셋에서의 AUC 점수는 SBERT와 BERTScore가 뛰어난 복구 문장 탐지 능력을 지녔으며, 이는 높은 RTT 기반 QE 성능과 직접적인 상관관계가 있음을 확인했다.
• 본 연구는 의미적 복구 문장 탐지 능력이 의미 기반 지표를 활용한 RTT 기반 QE 성공의 핵심 요소임을 규명했다.