[論文レビュー] Cultural Bias and Cultural Alignment of Large Language Models

Yan Tao, Olga Viberg+2 more|arXiv (Cornell University)|Nov 23, 2023

Computational and Text Analysis Methods被引用数 12

ひとこと要約

この研究は、5つの広く用いられるLLMの出力を全国代表的な調査データと比較することで文化的偏見を評価し、文化的 prompting が最近のモデルの多くの国々の整合性を改善できることを示す。

ABSTRACT

Culture fundamentally shapes people's reasoning, behavior, and communication. As people increasingly use generative artificial intelligence (AI) to expedite and automate personal and professional tasks, cultural values embedded in AI models may bias people's authentic expression and contribute to the dominance of certain cultures. We conduct a disaggregated evaluation of cultural bias for five widely used large language models (OpenAI's GPT-4o/4-turbo/4/3.5-turbo/3) by comparing the models' responses to nationally representative survey data. All models exhibit cultural values resembling English-speaking and Protestant European countries. We test cultural prompting as a control strategy to increase cultural alignment for each country/territory. For recent models (GPT-4, 4-turbo, 4o), this improves the cultural alignment of the models' output for 71-81% of countries and territories. We suggest using cultural prompting and ongoing evaluation to reduce cultural bias in the output of generative AI.

研究の動機と目的

• 文化がLLMの推論、コミュニケーション、出力をどのように形成するか理解を動機付ける。
• 英語話者およびプロテスタント欧州の文脈からの文化的価値を、5つの広く使用されているLLMに対して全国代表的な調査データと比べて定量化する。
• 文化 prompting というコントロール戦略を評価し、国や地域を跨いだ文化的整合性を改善する。
• 生成AI出力の文化的偏見を減らすための実践的な指針を提供する。

提案手法

• GPT-4o、GPT-4-turbo、GPT-4、GPT-3.5-turbo、GPT-3 の5つのLLMにおける評価を分解する。
• 出力に反映された文化的価値を評価するために、モデルの回答を全国代表的な調査データと比較する。
• ターゲット文化規範へモデル出力を影響させるコントロール戦略として文化 prompting を適用する。
• prompting の前後で国・地域別の出力の文化的整合性を測定する。
• 最近のモデルで国・地域を跨いだ改善率（71-81%）を報告する。

実験結果

リサーチクエスチョン

• RQ1 人気のあるLLMは、英語話者およびプロテスタント欧州の文脈からの文化的価値をどの程度コード化・反映しているのか？
• RQ2 文化 prompting は、さまざまな国や地域のLLM出力の文化的整合性を改善できるか？
• RQ3 最近のGPTファミリ―モデルと以前のモデルでは、文化的整合性はどう異なるか？
• RQ4 現代のLLMにおいて、文化 prompting による整合性の改善が見られる国・地域の割合はどのくらいか？

主な発見

• 評価されたすべてのモデルは、英語話者およびプロテスタント欧州の国々に似た文化的価値を示す。
• 文化 prompting は、最近のモデル（GPT-4、4-turbo、4o）で71-81%の国・地域の文化的整合性を改善する。
• 文化 prompting は、LLM出力の文化的偏見を低減する有効なコントロール戦略となり得る。
• 本研究は、LLMの文化的偏見を国レベルで分解して評価する実現可能性を示した。