[논문 리뷰] Multilingual Language Models are not Multicultural: A Case Study in Emotion

Shreya Havaldar, Sunny Rai외 4명|arXiv (Cornell University)|2023. 07. 03.

Mental Health via Writing인용 수 5

한 줄 요약

이 연구는 다국어 언어 모델(LMs)이 정서 표현의 문화적 차이를 반영하는지 조사하며, 그 결과 주로 영어 중심임을 밝혀낸다. 정서 임베딩과 GPT-3.5 및 GPT-4와 같은 생성형 LMs를 사용하여, 모델들이 영어에 정서 표현을 기반으로 삼고, 비영어 언어, 특히 일본어와 중국어에서조차도 문화적으로 적절한 정서 반응을 생성하지 못함을 보여준다. 이는 비록 프롬프트가 해당 언어로 제공되더라도 마찬가지다.

ABSTRACT

Emotions are experienced and expressed differently across the world. In order to use Large Language Models (LMs) for multilingual tasks that require emotional sensitivity, LMs must reflect this cultural variation in emotion. In this study, we investigate whether the widely-used multilingual LMs in 2023 reflect differences in emotional expressions across cultures and languages. We find that embeddings obtained from LMs (e.g., XLM-RoBERTa) are Anglocentric, and generative LMs (e.g., ChatGPT) reflect Western norms, even when responding to prompts in other languages. Our results show that multilingual LMs do not successfully learn the culturally appropriate nuances of emotion and we highlight possible research directions towards correcting this.

연구 동기 및 목표

• 다국어 언어 모델이 다양한 언어 간 정서 표현의 문화적 차이를 반영하는지 조사하기 위해.
• 다국어 모델의 정서 임베딩이 훈련 데이터 편향으로 인해 영어에 기반을 두고 있는지 조사하기 위해.
• 비영어 언어로 프롬프트가 제공되었을 때 생성형 LMs가 문화적으로 적절한 정서 반응을 생성하는지 평가하기 위해.
• 인간이 애너테이션한 평가를 통해 LMs의 정서 생성에서의 문화 인식 능력을 평가하기 위해.
• 감정적으로 민감한 NLP 응용 분야에서 제로샷 다국어 전이의 한계를 부각하기 위해.

제안 방법

• 단일 언어, 다국어 및 정렬된 RoBERTa 모델의 정서 임베딩을 비교하여 영어와의 일치도를 평가하기 위해.
• 정서 표현의 문화적 차이를 시각화하기 위해 정서 임베딩을 Valence-Arousal 평면에 투영하여 미국과 일본의 자존감과 부끄러움의 차이를 분석하기 위해.
• GPT-3의 확률 분포를 분석하여 자존감과 부끄러움의 정서어 사용에서의 문화적 차이를 탐지하기 위해.
• 동일한 시나리오를 영어와 현지 언어(일본어, 중국어, 스페인어)로 프롬프트하여 GPT-3.5와 GPT-4를 테스트하기 위해.
• 모델이 생성한 정서 반응의 문화적 적절성을 평가하기 위해 모국어 사용자들을 대상으로 사용자 연구를 수행하기 위해.
• 인간이 애너테이션한 점수를 사용하여 모델 성능을 평가하고, 평가자 간 일致도는 Cohen’s kappa로 측정하기 위해.

Figure 1: Do LMs always generate culturally-aware emotional language? We prompt GPT-4 to answer ”How would you feel about confronting your friend in their home?” like someone from Japan. We provide cultural context either via English (stating ”You live in Japan” in the prompt) or via a Japanese prom

실험 결과

연구 질문

• RQ1 다국어 언어 모델의 임베딩이 정서 표현의 알려진 심리학적 문화적 차이를 반영하는가?
• RQ2 다국어 LMs의 정서 임베딩이 훈련 데이터 편향으로 인해 영어에 얼마나 강하게 기반을 두고 있는가?
• RQ3 GPT-3.5와 GPT-4와 같은 생성형 LMs가 비영어 언어로 프롬프트가 제공되었을 때 문화적으로 적절한 정서 반응을 생성하는가?
• RQ4 영어 프롬프트 대비 현지 언어 프롬프트의 문화적 맥락 모드가 LMs가 생성한 정서 반응의 문화적 적절성에 어떤 영향을 미치는가?
• RQ5 명시적인 문화적 단서 없이도 다국어 LMs가 정서 표현의 문화적 규범을 정확히 추론할 수 있는가?

주요 결과

• XLM-RoBERTa와 같은 다국어 LMs의 정서 임베딩은 영어에 기반을 두고 있으며, 비영어 언어에 대해서는 문화적 차이가 약하게 드러남.
• GPT-4는 비영어 언어로 프롬프트가 제공되었을 때 일본어와 중국어에서 영어 프롬프트에 비해 유의미하게 덜 문화적으로 적절한 반응을 생성함.
• GPT-3.5와 GPT-4의 영어 완성문은 항상 비영어 언어의 반응보다 더 높은 문화 인식 능력을 보이며, 프롬프트 맥락과 관계없이 영어 반응이 가장 높은 품질을 보임.
• 현지 언어의 문화적 맥락 프롬프트를 사용할 경우 동아시아 언어에서 모델의 반응 품질이 크게 떨어지며, 이는 언어 자체에서 문화 규범을 추론하지 못함을 시사함.
• 서양 언어(영어, 스페인어)와 동아시아 언어(중국어, 일본어)의 반응 간 문화적 적절성에 큰 격차가 있으며, 서양 언어는 동아시아 언어보다 더 높은 애너테이션 점수를 받음.
• GPT-3.5와 GPT-4는 비영어 언어로 프롬프트가 제공되었을 때도 현지 문화 규범에 부합하는 반응을 생성하지 못하고, 대신 서양 정서 표현 패턴을 반영함.

Figure 2: We determine the similarity between the embeddings of monolingual Joy and multilingual Joy by comparing the distances from Joy to other emotions embeddings in both settings. Specifically, we calculate the correlation between $<13.05,9.85,12.55.2.23>$ and $<28.44,6.68,28.48,4.25>$ to infer