[논문 리뷰] Probing Pre-Trained Language Models for Cross-Cultural Differences in Values

Arnav Arora, Lucie-Aimée Kaffee외 1명|arXiv (Cornell University)|2022. 03. 25.

Educator Training and Historical Pedagogy인용 수 6

한 줄 요약

이 논문은 허프스타이드의 문화 차원과 세계가치조사(WVS) 질문을 클로즈형 프로브로 변환함으로써 다국어 사전 훈련된 언어 모델(PLM)이 교차 문화적 가치를 어떻게 인코딩하는지 평가하기 위한 탐색 프레임워크를 제안한다. 연구 결과, PLM은 가치의 감지 가능한 문화적 차이를 포착하고 있지만, 기존 조사 결과와의 일치는 약한 상관관계를 보이며, 이는 이러한 모델을 교차 문화적 응용에 배치할 경우 보다 신중한 일치 조정과 데이터 정제 없이 사용할 경우 위험을 초래할 수 있음을 시사한다.

ABSTRACT

Language embeds information about social, cultural, and political values people hold. Prior work has explored social and potentially harmful biases encoded in Pre-Trained Language models (PTLMs). However, there has been no systematic study investigating how values embedded in these models vary across cultures. In this paper, we introduce probes to study which values across cultures are embedded in these models, and whether they align with existing theories and cross-cultural value surveys. We find that PTLMs capture differences in values across cultures, but those only weakly align with established value surveys. We discuss implications of using mis-aligned models in cross-cultural settings, as well as ways of aligning PTLMs with value surveys.

연구 동기 및 목표

• 기존 조사에서 측정된 바와 같이 사전 훈련된 언어 모델(PLM)이 교차 문화적 가치 차이를 얼마나 잘 인코딩하는지 조사하기 위해.
• 가치 조사 질문을 클로즈형 프롬프트로 변환하여 모델 평가에 사용할 수 있는 체계적인 탐색 방법론을 개발하기 위해.
• PLM가 추정한 가치와 실증적 교차 문화 조사(Hofstede 및 WVS) 간의 일치 정도를 평가하기 위해.
• 현재 PLM 훈련 데이터의 한계가 문화적 가치의 오해를 초래할 수 있는 요인을 특정하기 위해.
• 다국어 및 다문화 환경에서 문화적 가치가 일치하지 않는 PLM를 배치할 경우 발생할 수 있는 윤리적 영향을 논의하기 위해.

제안 방법

• 허프스타이드의 문화 차원과 세계가치조사(WVS)의 질문을 마스크된 언어 모델링에 적합한 클로즈형 프로브로 변환하기 위해.
• 각각 특정 국가 또는 지역과 연관된 13개의 목표 언어로 프로브를 번역하여 언어별 가치 표현을 평가하기 위해.
• 번역된 프로브를 사용해 세 종류의 다국어 PLM(mBERT, XLM, XLM-R)을 적용하여 각 마스크된 토큰에 대한 가장 가능성이 높은 완성어를 예측하기 위해.
• 프로브를 통해 모델 예측을 집계하여 언어별로 문화적 가치 점수를 추정하고, 이를 설문 기반 기준 점수와 비교하기 위해.
• 모델가 추정한 가치와 설문 기반 가치 간 상관 계수(예: 피어슨 및 스피어먼 상관계수)를 계산하여 일치 정도를 정량화하기 위해.
• 언어 및 모델 간의 모델 행동을 분석하여 문화적 편향 또는 일치하지 않는 패턴을 식별하기 위해.

실험 결과

연구 질문

• RQ1 다국어 사전 훈련된 언어 모델은 허프스타이드의 문화 차원에서 정의된 바와 같이 교차 문화적 가치 차이를 어느 정도 반영하는가?
• RQ2 PLM가 추정한 가치는 세계가치조사(WVS)의 실증적 설문 데이터와 어느 정도 상관관계가 있는가?
• RQ3 훈련 데이터나 모델 아키텍처의 어떤 요소가 PLM 출력과 기존 문화 조사 간의 낮은 일치도를 초래하는가?
• RQ4 모델 예측은 언어 간에 어떻게 다를 수 있으며, 이는 PLM 내에서 문화적 표현의 정도에 어떤 함의를 갖는가?
• RQ5 다국어 응용에서 문화적 가치가 일치하지 않는 PLM를 배치할 경우 발생할 수 있는 윤리적 리스크는 무엇인가?

주요 결과

• PLM는 문화 간 가치의 감지 가능한 차이를 포착하고 있어, 훈련 데이터로부터 어떤 형태의 교차 문화적 가치 표현을 학습하고 있음을 시사한다.
• PLM가 추정한 가치와 설문 기반 가치 간 상관관계는 약하며, 대부분의 차원과 언어에서 피어슨 상관계수는 0.4 이하로 나타난다.
• 일부 차원, 예를 들어 권력 거리와 개인주의와 같은 경우, 다른 것들보다 더 높은 일치도를 보이며, 일부 가치에 대한 선택적 인코딩이 일어나고 있음을 시사한다.
• 모델 성능은 언어 간에 크게 차이가 나며, 영어나 독일어처럼 더 크고 다양한 훈련 데이터를 보유한 언어에서 더 높은 상관계수를 보였다.
• 연구에서는 훈련 데이터의 편향, 즉 서유럽 중심, 영어 지배 콘텐츠의 과잉 표현 및 少수자나 디아스포라 목소리의 부족한 표현이 일치도 저하의 원인임을 특정했다.
• 결과적으로 현재의 PLM는 글로벌 인구의 다양성을 반영하지 못하는 규범적인 문화적 가치를 무의식적으로 내재하고 있을 수 있으며, 이는 교차 문화적 응용에서 피해를 줄 수 있음을 시사한다.