[論文レビュー] Assessing Cross-Cultural Alignment between ChatGPT and Human Societies: An Empirical Study

Yong Cao, Zhou Li+4 more|arXiv (Cornell University)|Mar 30, 2023

Text Readability and Simplification被引用数 23

ひとこと要約

本研究は Hofstede の文化的次元を用いて ChatGPT の文化的適合性を検証し、アメリカ文化との適合がより強いこと、英語のプロンプトがアメリカ文化への回答バイアスを生じさせることを示している。

ABSTRACT

The recent release of ChatGPT has garnered widespread recognition for its exceptional ability to generate human-like responses in dialogue. Given its usage by users from various nations and its training on a vast multilingual corpus that incorporates diverse cultural and societal norms, it is crucial to evaluate its effectiveness in cultural adaptation. In this paper, we investigate the underlying cultural background of ChatGPT by analyzing its responses to questions designed to quantify human cultural differences. Our findings suggest that, when prompted with American context, ChatGPT exhibits a strong alignment with American culture, but it adapts less effectively to other cultural contexts. Furthermore, by using different prompts to probe the model, we show that English prompts reduce the variance in model responses, flattening out cultural differences and biasing them towards American culture. This study provides valuable insights into the cultural implications of ChatGPT and highlights the necessity of greater diversity and cultural awareness in language technologies.

研究の動機と目的

• Hofstede の六つの文化次元を用いて、ChatGPT の回答が多様な国家文化とどの程度一致するかを評価する。
• プロンプトの言語と構造が文化的適合性とモデル出力のばらつきにいかに影響するかを評価する。
• ChatGPT がアメリカ以外の文化にも適応するかを調査し、多言語プロンプトに潜む潜在的バイアスを特定する。

提案手法

• Hofstede Culture Survey を採用して六つの文化次元（Power Distance、Individualism、Uncertainty Avoidance、Masculinity、Long-term Orientation、Indulgence）を定義する。
• 各次元につき4問のサブセットで ChatGPT を探求し、事前定義された式によりスコアを算出する（S_i = lambda_i^0*(Q_i^0−Q_i^1) + lambda_i^1*(Q_i^2−Q_i^3) + C_i）。
• 言語効果を評価するため、三つのプロンプト変種（英語プロンプト2つと対象言語のプロンプト1つ）を使用する。
• Hofstede の質問を二人称から三人称に変更し、プロンプトの先頭に国・文化的文脈を付与する（例：For an average [country-person]）。
• 有効な知識注入、効果がない知識注入、反事実的知識注入を含む相互作用戦略を導入し、応答の一貫性を検証する。

Figure 1: The pipeline of our proposed probing framework and an example of distinct answers of ChatGPT by raising the same question in English and Chinese.

実験結果

リサーチクエスチョン

• RQ1 Hofstede の次元の下で、ChatGPT はアメリカ文化とその他の文化とでより強くアラインメントを示すか。
• RQ2 ChatGPT の文化的適合性は言語やプロンプトのスタイルによってどう異なるか。
• RQ3 文化探査プロンプトは ChatGPT の文化的適応のバイアスや限界を明らかにできるか。
• RQ4 知識注入戦略が ChatGPT の文化的応答の安定性に与える影響は何か。

主な発見

• アメリカの文脈でプロンプトした場合、ChatGPT はアメリカ文化への一致がより大きいことを示す。
• プロービング枠組みの下で、ChatGPT はアメリカ以外の文化にはより効果的に適応しない。
• 英語プロンプトは応答のばらつきを減らし、アメリカ文化寄りのバイアスを生み、文化的差を平坦化する。
• プロンプト言語とプロンプティング戦略は、文化的適合性の程度と方向性に影響を与える。
• 本研究は、言語技術におけるより大きな多様性と文化的意識の必要性を強調する。