[논문 리뷰] How Well Do LLMs Represent Values Across Cultures? Empirical Analysis of LLM Responses Based on Hofstede Cultural Dimensions

Julia Kharchenko, Tanya Roosta외 2명|arXiv (Cornell University)|2024. 06. 21.

Cooperative Studies and Economics인용 수 4

한 줄 요약

이 논문은 훈련된 대규모 언어 모델(Large Language Models, LLMs)이 호프스테이드의 문화 차원 프레임워크를 사용하여 다양한 국가 간 문화적 가치를 얼마나 잘 반영하는지 평가한다. 국가 및 언어별로 설정된 페르소나를 활용해 프롬프트를 제공함으로써, 연구 결과 모델들은 일부 문화적 가치를 구분할 수는 있으나, 종종 국가별 문화적 가치와 일관되게 맞추어 조언을 제공하지 못함을 확인했다. 이는 훈련 및 검색 기반 생성 기법을 통해 개선이 필요한 문화적 일치 격차를 드러낸다.

ABSTRACT

Large Language Models (LLMs) attempt to imitate human behavior by responding to humans in a way that pleases them, including by adhering to their values. However, humans come from diverse cultures with different values. It is critical to understand whether LLMs showcase different values to the user based on the stereotypical values of a user's known country. We prompt different LLMs with a series of advice requests based on 5 Hofstede Cultural Dimensions -- a quantifiable way of representing the values of a country. Throughout each prompt, we incorporate personas representing 36 different countries and, separately, languages predominantly tied to each country to analyze the consistency in the LLMs' cultural understanding. Through our analysis of the responses, we found that LLMs can differentiate between one side of a value and another, as well as understand that countries have differing values, but will not always uphold the values when giving advice, and fail to understand the need to answer differently based on different cultural values. Rooted in these findings, we present recommendations for training value-aligned and culturally sensitive LLMs. More importantly, the methodology and the framework developed here can help further understand and mitigate culture and language alignment issues with LLMs.

연구 동기 및 목표

• LLMs가 호프스테이드의 문화 차원에 의해 정의된 국가별 문화적 가치에 따라 조언을 인식하고 적응할 수 있는지 평가하는 것.
• LLMs가 언어를 문화적 맥락과 연결하여 문화적 규범에 따라 응답할 수 있는지 조사하는 것.
• 훈련 데이터의 우세성 또는 전통적 고정관념에 기반한 편향을 식별하여 진정한 문화 이해가 아니라 고정관념에 기반한 응답이 이루어지는지 확인하는 것.
• LLMs의 문화적 일치 문제를 평가하고 완화하기 위한 반복 가능하고 표준화된 프레임워크를 개발하는 것.
• 다양한 문화적 가치를 존중하고 고정관념을 강화하지 않도록, 다원주의적 일치를 촉진하는 것.

제안 방법

• 연구는 36개 국가와 그에 해당하는 언어를 대표하는 페르소나를 통합한 프롬프트 엔지니어링 프레임워크를 사용하여 LLM이 조언을 생성하도록 유도한다.
• 각 프롬프트는 호프스테이드의 다섯 가지 문화 차원—권력 거리, 개인주의, 남성성, 불확실성 회피, 장기 지향성—중 하나를 중심으로 하되, 균형 잡힌 이원 질문 방식을 사용한다.
• 응답은 목표 국가의 문화 차원 점수와의 일관성 여부를 분석하며, 특히 정당화의 질과 문화적 특수성에 중점을 둔다.
• 연구자 편향을 최소화하기 위해 프롬프트의 정합성을 수동으로 점검하는 절차를 포함한다.
• 응답을 문화적으로 관련된 지식에 기반하게 하기 위해 검색 기반 생성(Retrieval-Augmented Generation, RAG) 접근법을 제안한다.
• 이 프레임워크를 통해 다양한 언어적 및 문화적 맥락에서 문화적 민감도를 체계적이고 검증 가능하며 반복 가능한 방식으로 평가할 수 있다.

실험 결과

연구 질문

• RQ1 LLMs는 다양한 국가에서 호프스테이드의 문화 차원을 얼마나 잘 이해하고 반영하는가?
• RQ2 LLMs는 국가별 문화적 가치에 맞게 조언을 얼마나 잘 적응시킬 수 있는가?
• RQ3 LLMs는 특정 언어를 문화적 맥락과 연결하여 그에 맞는 응답을 얼마나 잘 제공하는가?
• RQ4 LLMs는 조언을 생성할 때 고정관념에 의존하는가, 아니면 진정한 문화 이해를 보여주는가?
• RQ5 검색 기반 생성(RAG)은 LLM 응답의 문화적 일치를 얼마나 향상시킬 수 있는가?

주요 결과

• LLMs는 개인주의 대 집단주의와 같은 문화 차원의 대비를 인식하여 일부 문화적 대비에 대한 인식을 보임을 확인했다.
• 문화적 차이를 인식하고도, LLMs는 종종 목표 국가의 문화 차원 프로필과 일관되게 조언을 맞추지 못함을 확인했다.
• 언어만을 단서로 제시했을 때 LLMs는 일관성 없는 응답을 보이며, 언어에서 문화로의 맵핑이 약하거나 신뢰할 수 없음을 시사한다.
• 응답의 정당화는 종종 일반적 또는 보편적인 원칙에 의존하며, 국가별로 특화된 이유보다는 문화적 근거가 부족한 경향이 있다.
• 연구는 LLMs가 진정한 문화 이해보다는 우세한 데이터 편향을 반영할 수 있는 근본적인 가치 일치 격차를 규명했다.
• 제안된 프레임워크는 문화적 일치 실패를 탐지하고, 더 투명하고 근거가 명확하며 문화적으로 인지 가능한 LLM 응답으로 나아가는 길을 제공한다.