[논문 리뷰] Challenges in Translation of Emotions in Multilingual User-Generated Content: Twitter as a Case Study

Hadeel Saadany, Constantin Orǎsan외 3명|arXiv (Cornell University)|2021. 06. 20.

Natural Language Processing Techniques인용 수 8

한 줄 요약

이 연구는 다국어 사용자 생성 콘텐츠, 특히 트위터에서 신경 기계 번역(NMT) 시스템이 감정적 내용을 얼마나 잘 유지하는지에 대해 조사한다. 대조어, 음절 표기, 관용구, 코드 스위칭, 부정 등 언어적 특징이 감정 오역의 주요 원인임을 밝혀내며, BLEU 및 METEOR와 같은 표준 자동 평가 지표가 감정 극성 반전조차도 감지하지 못함을 보여준다.

ABSTRACT

Although emotions are universal concepts, transferring the different shades of emotion from one language to another may not always be straightforward for human translators, let alone for machine translation systems. Moreover, the cognitive states are established by verbal explanations of experience which is shaped by both the verbal and cultural contexts. There are a number of verbal contexts where expression of emotions constitutes the pivotal component of the message. This is particularly true for User-Generated Content (UGC) which can be in the form of a review of a product or a service, a tweet, or a social media post. Recently, it has become common practice for multilingual websites such as Twitter to provide an automatic translation of UGC to reach out to their linguistically diverse users. In such scenarios, the process of translating the user's emotion is entirely automatic with no human intervention, neither for post-editing nor for accuracy checking. In this research, we assess whether automatic translation tools can be a successful real-life utility in transferring emotion in user-generated multilingual data such as tweets. We show that there are linguistic phenomena specific of Twitter data that pose a challenge in translation of emotions in different languages. We summarise these challenges in a list of linguistic features and show how frequent these features are in different language pairs. We also assess the capacity of commonly used methods for evaluating the performance of an MT system with respect to the preservation of emotion in the source text.

연구 동기 및 목표

• 자동 기계 번역(MT) 시스템이 다국어 사용자 생성 콘텐츠(UGC), 특히 트위터에서 감정적 내용을 정확히 전달할 수 있는지 평가하는 것.
• 다양한 언어 간 번역 과정에서 감정 오역을 유발하는 데 흔히 나타나는 특정 언어적 특징을 특정하는 것.
• BLEU 및 METEOR와 같은 표준 자동 MT 평가 지표가 UGC에서 감정 유지 오류를 탐지하는 데 얼마나 효과적인지 평가하는 것.
• 감정 극성 외에도 세분화된 감정(예: 기쁨, 분노, 공포)이 번역 과정에서 유지되는지 조사하는 것.
• 현재의 MT 평가 관행이 감정이 풍부하고 맥락이 풍부한 텍스트, 예를 들어 트위터와 같은 비공식적 텍스트에서 정서적 메시지 왜곡을 포착하지 못하는 한계를 부각하는 것.

제안 방법

• 감정 및 공격성 탐지 공모전에서 유래한, 기쁨, 공포, 공격성, 분노의 네 감정을 사전에 주석 처리한 다국어 트위터 데이터셋을 수집하였다.
• 실제 다국어 플랫폼 번역 워크플로우를 시뮬레이션하기 위해 Google 번역 API를 사용해 아랍어, 스페인어 및 기타 언어의 트위터를 영어로 자동 번역하였다.
• 트위터에서 흔히 나타나는 여섯 가지 언어적 특징—대조어, 음절 표기, 관용구, 지역어 혼용, 부정, 구두점—이 감정 전달을 방해하는 데 초점을 맞춘 정성적 및 정량적 분석을 수행하였다.
• 100개 트위터 예제로 구성된 감정 오역 사례 데이터셋에서 기계 번역 결과를 인간 기준 번역과 비교하여 표준 MT 평가 지표(BLEU 및 METEOR)를 계산하였다.
• 자동 평가 지표 점수와 인간 평가의 감정 유지 정도 간 상관관계를 분석하였으며, 특히 감정 극성이 뒤바뀐 경우에 집중하였다.
• 향후 MT 평가에 감정 인식 지표를 통합하여 UGC에서 정서적 메시지의 정확성 반영을 향상시켜야 한다고 제안하였다.

실험 결과

연구 질문

• RQ1 트위터의 특정 언어적 특징이 다국어 NMT 시스템에서 감정 오역을 유발하는가?
• RQ2 이러한 언어적 특징이 감정 왜곡 측면에서 서로 다른 언어 조합에 동일하게 영향을 미치는가?
• RQ3 기존의 자동 MT 평가 지표(예: BLEU, METEOR)가 UGC에서 감정 오역, 특히 감정 극성이 뒤바뀐 경우를 충분히 감지할 수 있는가?
• RQ4 감정 내용이 완전히 반전된 경우, 표준 지표가 번역 품질을 과대평가하는 정도는 어느 정도인가?

주요 결과

• 부정, 대조어, 관용구와 같은 언어적 특징이 감정 전달을 심각하게 방해하며, 특히 부정으로 인해 15%의 경우에서 감정 극성이 완전히 뒤바뀌었다.
• 오역된 감정 사례에 대한 BLEU 점수는 평균 0.60, METEOR 점수는 0.45였으며, 이는 감정 극성 반전에도 불구하고 높은 점수를 기록함으로써 인간 평가와의 상관관계가 낮음을 보여주었다.
• 감정 의미의 의미적 왜곡을 징벌하지 못하는 단일 오역 사례—예를 들어 '기쁨'을 '분노'로 번역하는 경우—BLEU 점수는 0.76를 기록하여 어휘 유사도 지표가 감정 의미의 왜곡을 제대로 반영하지 못함을 입증하였다.
• METEOR는 의미적 특징을 통합하고 있음에도 불구하고, 부정이 생략되어 분노가 기쁨으로 바뀐 사례에서조차도 감정 극성 반전을 감지하지 못했으며, 이 경우 METEOR 점수는 0.61이었다.
• 결과적으로 표준 MT 평가 지표는 감정이 풍부하고 비공식적인 텍스트, 예를 들어 트위터와 같은 텍스트에서 감정 유지 정도 평가에 부적합하다는 것이 밝혀졌다.
• 연구는 현재 자동 평가 방법이 감정 왜곡이 있을 경우 번역 품질을 과대평가하고 있음을 확인하였으며, 감정적 텍스트의 번역 평가를 위해 감정 인식 지표의 도입이 필요하다고 결론 내렸다.