[논문 리뷰] Is it Great or Terrible? Preserving Sentiment in Neural Machine Translation of Arabic Reviews

Hadeel Saadany, Constantin Orǎsan|arXiv (Cornell University)|2020. 10. 26.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 아랍어 사용자 생성 콘텐츠(UGC), 특히 책 리뷰에서 신경 기계 번역(NMT)의 정서 유지 오류를 다루며, Google 번역과 같은 온라인 도구가 정서 극성(positive/negative)을 자주 잘못 표현한다는 점을 다룹니다. 감성에 민감한 사전학습된 단어 벡터와 극성 태그가 부여된 원천 텍스트로 NMT 모델을 피지테이닝함으로써, F1 스코어 0.81을 달성하고 Google 번역 대비 정서 불일치를 75% 감소시켜 단어 수준 및 문장 수준의 정서 정확도를 크게 향상시켰습니다.

ABSTRACT

Since the advent of Neural Machine Translation (NMT) approaches there has been a tremendous improvement in the quality of automatic translation. However, NMT output still lacks accuracy in some low-resource languages and sometimes makes major errors that need extensive post-editing. This is particularly noticeable with texts that do not follow common lexico-grammatical standards, such as user generated content (UGC). In this paper we investigate the challenges involved in translating book reviews from Arabic into English, with particular focus on the errors that lead to incorrect translation of sentiment polarity. Our study points to the special characteristics of Arabic UGC, examines the sentiment transfer errors made by Google Translate of Arabic UGC to English, analyzes why the problem occurs, and proposes an error typology specific of the translation of Arabic UGC. Our analysis shows that the output of online translation tools of Arabic UGC can either fail to transfer the sentiment at all by producing a neutral target text, or completely flips the sentiment polarity of the target word or phrase and hence delivers a wrong affect message. We address this problem by fine-tuning an NMT model with respect to sentiment polarity showing that this approach can significantly help with correcting sentiment errors detected in the online translation of Arabic UGC.

연구 동기 및 목표

• 아랍어 사용자 생성 콘텐츠(UGC), 특히 책 리뷰에서 NMT 출력의 정서 이행 오류를 식별하고 분류하는 것.
• Google 번역과 같은 온라인 번역 도구가 아랍어 UGC에서 정서 극성을 유지하지 못하는 이유를 분석하는 것, 특히 현지어 아랍어(DA)와 현대 표준 아랍어(MSA) 간의 코드 스위칭이 원인임을 규명하는 것.
• 단어 수준 및 문장 수준에서 정서를 번역하는 데 정확도를 향상시키기 위한 정서 민감한 NMT 학습 방법을 개발하는 것.
• BLEU 점수를 넘어서 정서 스코어 불일치를 측정하는 어휘 기반 지표를 사용하여 정서 유지 정도를 평가하는 것.
• 감성 인식 임베딩과 극성 태그를 사용한 피지테이닝이 저자원, 정서 민감한 아랍어 UGC 번역에서 NMT 성능을 향상시킨다는 것을 입증하는 것.

제안 방법

• 대조어(contronyms)가 DA와 MSA에서 서로 반대되는 정서 극성을 지닌 아랍어 책 리뷰로 구성된 수작업 테스트 세트를 구축함.
• NMT 출력의 정성적 분 析를 기반으로 한 정서 오류 유형 체계를 수립하여 정서 이행 실패 및 극성 뒤집힘을 식별함.
• 표준 사전학습된 임베딩을 사용하는 모델과 감성에 민감한 사전학습된 벡터 및 극성 태그가 부여된 원천 문장을 사용하는 두 가지 트랜스포머 기반 NMT 모델을 훈련함.
• 대조어에 대한 명시적 정서 레이블이 부여된 소규모 애너테이션 데이터셋을 사용하여 감성 민감한 모델을 피지테이닝함으로써 맥락 인식 번역을 향상시킴.
• 문장 수준의 정서 유지 정도를 평가하기 위해 정서 스코어 기반 지표를 도입함. Microsoft Azure Sentiment Analysis를 사용하여 예측된 정서 스코어와 기준 정서 스코어 간의 평균 제곱 거리를 계산함.
• BLEU 점수와 정서 전용 지표를 사용하여 번역 품질을 비교함. 후자는 정서적 충실도 평가에 더 정확한 평가를 제공함.

실험 결과

연구 질문

• RQ1 아랍어 UGC, 특히 DA-MSA 혼합 텍스트에서 NMT 출력의 어떤 오류가 정서 유지에 실패하게 하는가?
• RQ2 정서 민감한 입력 표현 방식은 아랍어 UGC의 NMT에서 정서 극성 이행을 어떻게 향상시킬 수 있는가?
• RQ3 BLEU 점수가 아랍어에서 영어로의 번역에서 정서 유지 평가에 가장 적합한가, 아니면 정서 전용 지표가 필요한가?
• RQ4 감성 인식 임베딩과 극성 태그를 사용한 NMT 모델의 피지테이닝은 아랍어 UGC 번역에서 정서 왜곡을 어느 정도 감소시키는가?

주요 결과

• Google 번역은 아랍어 UGC에서 정서를 자주 유지하지 못하며, 중립적인 출력을 생성하거나 정서 극성을 뒤집는 경향이 있으며, 특히 현지어 아랍어(DA)와 현대 표준 아랍어(MSA)에서 서로 반대 의미를 지닌 대조어에서 두드러집니다.
• 감성 민감한 NMT 모델은 단어 수준의 정서 분류에서 F1 스코어 0.81과 정밀도 0.85를 기록하여 Google 번역을 크게 능가함.
• 감성 민감한 모델은 긍정 리뷰의 경우 정서 스코어 불일치(번역 비용)를 0.06으로 줄였고, 부정 리뷰의 경우 0.14로 유지함. 이는 Google 번역이 긍정 사례에서 0.71의 비용을 기록한 것과 대비됨.
• Google 번역은 부정 대조어에서는 더 잘 작동했음(비용 0.15), 긍정 대조어에서는 더 나빴음(비용 0.71)으로, 긍정 정서의 경우 체계적인 극성 뒤집힘 경향이 있음.
• 짧은 문장에서 정서 불일치가 가장 높았으며, 특히 'رهيبه'(awesome)와 같은 긍정 대조어가 'Terrible'로 잘못 번역된 경우가 많음.
• 이 연구는 BLEU 점수만으로는 정서 유지 평가에 부적절하며, 정서적 충실도 정확한 평가를 위해서는 정서 전용 지표가 필수적임을 확인함.