[論文レビュー] How Well Do LLMs Represent Values Across Cultures? Empirical Analysis of LLM Responses Based on Hofstede Cultural Dimensions

Julia Kharchenko, Tanya Roosta+2 more|arXiv (Cornell University)|Jun 21, 2024

Cooperative Studies and Economics被引用数 4

ひとこと要約

この論文は、ホフステードの文化的次元フレームワークを用いて、大規模言語モデル（LLMs）が国ごとの文化的価値をどの程度正しく表現できるかを評価する。国および言語に特化したパーソナを提示することで、モデルは文化的価値を部分的に区別できるが、国ごとの価値と一貫して整合した助言を提供できないことが判明。文化的整合性のギャップが顕在化し、改善のためには特定の訓練とリtrieval-augmented generation（RAG）が必要である。

ABSTRACT

Large Language Models (LLMs) attempt to imitate human behavior by responding to humans in a way that pleases them, including by adhering to their values. However, humans come from diverse cultures with different values. It is critical to understand whether LLMs showcase different values to the user based on the stereotypical values of a user's known country. We prompt different LLMs with a series of advice requests based on 5 Hofstede Cultural Dimensions -- a quantifiable way of representing the values of a country. Throughout each prompt, we incorporate personas representing 36 different countries and, separately, languages predominantly tied to each country to analyze the consistency in the LLMs' cultural understanding. Through our analysis of the responses, we found that LLMs can differentiate between one side of a value and another, as well as understand that countries have differing values, but will not always uphold the values when giving advice, and fail to understand the need to answer differently based on different cultural values. Rooted in these findings, we present recommendations for training value-aligned and culturally sensitive LLMs. More importantly, the methodology and the framework developed here can help further understand and mitigate culture and language alignment issues with LLMs.

研究の動機と目的

• ホフステードの文化的次元で定義された国ごとの文化的価値に基づき、LLMsが助言を認識し適応できるかどうかを評価すること。
• LLMsが言語を文化的文脈と関連づけ、文化的規範に応じて応答できるかどうかを調査すること。
• トレーニングデータの優位性やステレオタイプ的関連性に起因する偏見が、真の文化的理解ではなく、LLMsの応答に現れるかどうかを同定すること。
• LLMsにおける文化的整合性の問題を評価・是正するための再現可能で標準化されたフレームワークを構築すること。
• ステレオタイプを強化しないように、多様な文化的価値を尊重する多様性のある整合性を促進すること。

提案手法

• 本研究は、36か国の文化的パーソナと関連言語を組み込んだプロンプト工学フレームワークを用い、LLMsから助言を引き出す。
• 各プロンプトは、ホフステードの5つの文化的次元（権力距離、個人主義、マスキュリニティ、不確実性回避、長期的指向）のいずれかを基に設計され、バランスの取れた二値質問が用いられる。
• 応答は、ターゲット国における文化的次元スコアと整合性があるか分析され、根拠の質と文化的特異性に注目する。
• 研究者バイアスを最小限に抑えるために、プロンプトの手動監査が行われる。
• 応答を文化的に関連する知識に根拠づけることで、文化的整合性を向上させるリトリーブ・アンバウンド・ジェネレーション（RAG）アプローチが提案される。
• このフレームワークにより、多様な言語的・文化的文脈において、体系的で検証可能かつ再現可能な文化的感受性の評価が可能になる。

実験結果

リサーチクエスチョン

• RQ1 LLMsは、異なる国々においてホフステードの文化的次元をどの程度理解し、反映できるか？
• RQ2 LLMsは、国ごとの文化的価値に適合するように助言を適応できるか？
• RQ3 LLMsは、特定の言語を文化的文脈と関連づけ、それに応じて応答できるか？
• RQ4 LLMsは、助言を生成する際にステレオタイプに依存しているのか、それとも真の文化的理解を示しているのか？
• RQ5 リトリーブ・アンバウンド・ジェネレーション（RAG）は、LLMsの文化的整合性を向上させることができるか？

主な発見

• LLMsは、個人主義対集団主義といった文化的次元の両端を区別でき、文化的対比にある程度の認識があることを示している。
• 文化的差異を認識しているにもかかわらず、LLMsはしばしばターゲット国の文化的次元プロファイルと一貫して整合した助言を提供できない。
• 言語のみのキューでプロンプトされた際、LLMsの応答は一貫性がなく、言語から文化的文脈へのマッピングが弱いか、信頼性に欠けることが示された。
• 応答の根拠は頻繁に文化的根拠を欠き、一般的または普遍的な原則に依存しており、国ごとの推論ではない。
• 本研究では、LLMsが支配的データバイアスを反映しているだけで真の文化的理解を示さないという、文化的価値の整合性の根本的ギャップを特定した。
• 提案されたフレームワークにより、文化的整合性の失敗を検出でき、より透明性が高く、引用可能で文化的に配慮されたLLMsの応答への道筋が示された。