[논문 리뷰] Machine Translation Evaluation with BERT Regressor

Hiroki Shimanaka, Tomoyuki Kajiwara외 1명|arXiv (Cornell University)|2019. 07. 29.

Natural Language Processing Techniques참고 문헌 12인용 수 23

한 줄 요약

이 논문은 인간 평가 점수를 예측하기 위해 BERT의 문장 쌍 인코딩과 최적화된 문맥 임베딩을 활용하는 BERT 기반 회귀 모델을 제안한다. 이 모델은 WMT-2017 세그먼트 수준 평가 지표 과제에서 모든 영어로의 번역 언어 쌍에서 최신 기술 성능을 달성하며, BERT의 사전 훈련, 공동 문장 쌍 인코딩, 종단 간 최적화 훈련을 통해 기존 방법들(예: RUSE)을 능가한다.

ABSTRACT

We introduce the metric using BERT (Bidirectional Encoder Representations from Transformers) (Devlin et al., 2019) for automatic machine translation evaluation. The experimental results of the WMT-2017 Metrics Shared Task dataset show that our metric achieves state-of-the-art performance in segment-level metrics task for all to-English language pairs.

연구 동기 및 목표

• 기존 방법들보다 인간 평가와 더 높은 상관관계를 가지는 새로운 자동 기계 번역 평가 지표를 개발하는 것.
• BERT의 사전 훈련된 문맥 표현이 세그먼트 수준 번역 품질 평가에 기여하는지 조사하는 것.
• BERT 전용 구성 요소—사전 훈련 방법, 문장 쌍 인코딩, 최적화 훈련—이 MTE 성능에 미치는 기여도를 분석하는 것.
• WMT-2017 데이터셋에서 RUSE(이전 최신 기술 성능을 기록한 문장 임베딩 기반 지표)와 제안된 BERT 기반 지표를 비교하는 것.

제안 방법

• 사용자 평가 점수를 예측하기 위한 회귀 헤드를 갖춘 사전 훈련된 BERT 모델을, 번역 후보문과 기준 번역문의 쌍으로부터 훈련한다.
• BERT의 문장 쌍 인코더의 마지막 은닉층에서 [CLS] 토큰의 임베딩을 다층퍼셉트론(MLP) 회귀 모델의 입력으로 사용한다.
• 후보문과 기준문을 하나의 입력 시퀀스로 동시에 입력하여 상호 주의 메커니즘을 통해 문장 간 관계를 모델링하는 공동 문장 쌍 인코딩을 적용한다.
• BERT 인코더와 MLP 회귀 모델을 종단 간 최적화 훈련하여 문맥 표현이 MTE 과제에 적응하도록 한다.
• 개발 데이터에서 배치 크기, 드롭아웃 비율, 학습률, MLP 아키텍처 등의 하이퍼파라미터를 최적화하기 위해 그리드 서치를 수행한다.
• 절단 실험(variants)를 비교: 최적화되지 않은 BERT, 다양한 사전 훈련 방법을 적용한 BERT, 그리고 다른 문장 인코더(GloVe-BoW, QuickThought)를 사용한 RUSE.

실험 결과

연구 질문

• RQ1 독립적인 문장 인코딩 대비 BERT 기반의 문장 쌍 인코딩이 자동 기계 번역 평가 성능을 향상시키는가?
• RQ2 마스크 언어 모델링과 다음 문장 예측을 통한 BERT의 사전 훈련이 다른 사전 훈련 방법 대비 MTE 성능에 어떤 영향을 미치는가?
• RQ3 사전 훈련된 BERT 인코더를 최적화하는 것이 고정된 임베딩을 사용하는 것보다 MTE 성능 향상에 얼마나 기여하는가?
• RQ4 사전 훈련 방법, 문장 쌍 인코딩, 최적화 훈련이라는 세 가지 핵심 구성 요소가 RUSE 대비 성능 향상에 각각 기여하는 정도는 어느 정도인가?

주요 결과

• 제안된 BERT 기반 지표는 모든 영어로의 번역 언어 쌍에서 WMT-2017 세그먼트 수준 평가 지표 과제에서 최신 기술 성능을 달성하며, RUSE 및 기타 기준 모델들을 능가한다.
• 마스크 언어 모델링과 다음 문장 예측을 모두 포함한 BERT의 사전 훈련은 QuickThought(단지 NSP) 또는 GloVe-BoW보다 유의미하게 높은 성능을 보이며, 이중 문맥 학습의 중요성을 입증한다.
• BERT의 공동 문장 쌍 인코딩은 RUSE가 별도로 문장을 인코딩하고 임베딩을 조합하는 방식보다 인간 평가와 더 높은 상관관계를 보이며, 문장 간 관계 모델링이 향상됨을 시사한다.
• 사전 훈련된 BERT 인코더를 최적화하는 것은 고정된 BERT 임베딩을 사용하는 것보다 성능 향상에 상당한 기여를 하며, 과제에 특화된 적응의 이점을 확인한다.
• 절단 실험 결과, 사전 훈련 방법, 문장 쌍 인코딩, 최적화 훈련이라는 세 구성 요소가 각각 독립적으로 유의미하게 성능 향상에 기여함을 확인한다.
• 모든 영어로의 번역 언어 쌍에서 인간 평가 점수와의 피어슨 상관계수에서 RUSE보다 높은 일관성 있는 성능을 기록하며, BERT가 MTE에 효과적임을 검증한다.