[論文レビュー] Quite Good, but Not Enough: Nationality Bias in Large Language Models -- A Case Study of ChatGPT

Shucheng Zhu, Weikang Wang+1 more|arXiv (Cornell University)|May 11, 2024

Topic Modeling被引用数 4

ひとこと要約

本研究は、ChatGPTにおける国籍バイアスを調査するために、195か国の国籍関連の発話を英語および中国語で自動生成し、自動評価指標と人間／LLMによる対比較を用いた。主に肯定的かつ攻撃的でない出力であったが、ChatGPTは現実世界の国籍バイアスを反映しており、特に中国語出力において顕著であった。well-behavedなLLMであっても、文化的に条件づけられた微細なステレオタイプが埋め込まれていることが示された。

ABSTRACT

While nationality is a pivotal demographic element that enhances the performance of language models, it has received far less scrutiny regarding inherent biases. This study investigates nationality bias in ChatGPT (GPT-3.5), a large language model (LLM) designed for text generation. The research covers 195 countries, 4 temperature settings, and 3 distinct prompt types, generating 4,680 discourses about nationality descriptions in Chinese and English. Automated metrics were used to analyze the nationality bias, and expert annotators alongside ChatGPT itself evaluated the perceived bias. The results show that ChatGPT's generated discourses are predominantly positive, especially compared to its predecessor, GPT-2. However, when prompted with negative inclinations, it occasionally produces negative content. Despite ChatGPT considering its generated text as neutral, it shows consistent self-awareness about nationality bias when subjected to the same pair-wise comparison annotation framework used by human annotators. In conclusion, while ChatGPT's generated texts seem friendly and positive, they reflect the inherent nationality biases in the real world. This bias may vary across different language versions of ChatGPT, indicating diverse cultural perspectives. The study highlights the subtle and pervasive nature of biases within LLMs, emphasizing the need for further scrutiny.

研究の動機と目的

• 大規模言語モデル、特にChatGPTにおける国籍バイアスの存在と性質を調査すること。
• 英語および中国語の言語バージョン、およびプロンプト条件ごとの国籍バイアスの違いを検討すること。
• バイアスを二値分類ではなく連続的スケールとして評価するための新規な対比較フレームワークを構築すること。
• 人間アノテーターとChatGPT自身のバイアス評価の整合性を評価すること。
• 現実世界の社会指標（例：GDP、HDI）が、生成された発話におけるモデルのバイアス認識に与える影響を調査すること。

提案手法

• 英語および中国語で、195か国、4つの温度設定、3種類のプロンプトタイプを用いて、合計4,680件の国籍関連発話を生成した。
• 感情、攻撃性、嫌がらせ発言、敬意、語彙の豊かさなどの自動評価指標を用いて、生成されたテキストを評価した。
• 人間専門家とChatGPT自身が、テキストペア間の相対的バイアスを評価する新規な対比較アノテーションフレームワークを採用した。
• 現実世界の社会指標（PCGDP、HDI、WHRなど）とモデル出力の相関を分析し、グローバルステレオタイプとの整合性を評価した。
• 社会指標と生成テキストにおけるバイアス認識との関係を分析するため、スピアマン順位相関を用いた。
• インターアノテーター整合性と相関分析を用いて、人間アノテーターとChatGPT自身の自己評価の整合性を検証した。

実験結果

リサーチクエスチョン

• RQ1 ChatGPTは、中立的または肯定的な指示を受けても、国籍バイアスを含むコンテンツを生成する程度はどの程度か？
• RQ2 英語版と中国語版のChatGPTにおける国籍バイアスは、どのように異なるか？
• RQ3 ChatGPTは、対比較フレームワークを用いて自らのバイアスを信頼性高く自己評価できるか？また、人間アノテーターの判断と比べてどうか？
• RQ4 現実世界の社会指標（例：GDP、人間開発）が、ChatGPTの生成テキストにおけるバイアス認識とどの程度相関するか？
• RQ5 感情が主に肯定的であっても、モデルの出力は現実世界の国家ステレオタイプを反映しているか？

主な発見

• ChatGPTの生成テキストは、英語および中国語の両プロンプトにおいて、肯定的かつ攻撃的でない傾向が強く、GPT-2と比較して顕著な改善が見られた。
• 肯定的な感情であったにもかかわらず、ChatGPTの出力はPCGDP、HDI、WHRといった現実世界の社会指標と有意に相関しており、グローバルステレオタイプと整合していることが示された。
• 中国語出力では、経済的・人間開発水準が高い国ほど肯定的な記述がなされ、発展度が低い国ほど否定的・劣悪な記述がなされた。
• ChatGPTは対比較フレームワークを通じて強い自己認識を示しており、その結果は人間アノテーターの判断と極めて整合的であった。
• 同じ国についての中国語出力と英語出力の間にはほとんど相関がなく、異なる言語バージョンで文化的に異なる視点が反映されていることが示された。
• モデルが中立的または肯定的なテキストを生成しても、微細な国籍バイアスが依然として存在しており、バイアスは容易に排除できず、二値的特性ではなく連続的スケールで作用していることが示唆された。