[論文レビュー] The political ideology of conversational AI: Converging evidence on ChatGPT's pro-environmental, left-libertarian orientation

Jochen Hartmann, Jasper Schwenzow+1 more|arXiv (Cornell University)|Jan 5, 2023

Ethics and Social Impacts of AI被引用数 35

ひとこと要約

本論文は、政治的発言を用いてChatGPTの政治的整合性を評価し、複数の実験と言語にわたって、環境保護志向の左リバタリアン寄りの傾向を示す。

ABSTRACT

Conversational artificial intelligence (AI) disrupts how humans interact with technology. Recently, OpenAI introduced ChatGPT, a state-of-the-art dialogue model that can converse with its human counterparts with unprecedented capabilities. ChatGPT has witnessed tremendous attention from the media, academia, industry, and the general public, attracting more than a million users within days of its release. However, its explosive adoption for information search and as an automated decision aid underscores the importance to understand its limitations and biases. This paper focuses on one of democratic society's most important decision-making processes: political elections. Prompting ChatGPT with 630 political statements from two leading voting advice applications and the nation-agnostic political compass test in three pre-registered experiments, we uncover ChatGPT's pro-environmental, left-libertarian ideology. For example, ChatGPT would impose taxes on flights, restrict rent increases, and legalize abortion. In the 2021 elections, it would have voted most likely for the Greens both in Germany (Bündnis 90/Die Grünen) and in the Netherlands (GroenLinks). Our findings are robust when negating the prompts, reversing the order of the statements, varying prompt formality, and across languages (English, German, Dutch, and Spanish). We conclude by discussing the implications of politically biased conversational AI on society.

研究の動機と目的

• 民主的意思決定の文脈（選挙）におけるChatGPTの政治的偏向を評価する。
• 複数のプロンプト設定を用いて環境保護と左リバタリアンの立場との整合性を検討する。
• 言語と言語バリエーションの異なるプロンプトに対する結論の頑健性を検証する。
• 政治的偏向をもつ対話型AIの社会的影響について議論を提供する。

提案手法

• 投票アドバイスアプリケーションからの630の政治的発言と国に依存しない政治コンパス検査をChatGPTに提示する。
• 指向性を評価するために事前登録済みの実験を3つ実施する。
• プロンプトを否定形にしたり、発言の順序を反転させたりして頑健性を検証する。
• プロンプトの形式度と言語（English, German, Dutch, Spanish）を変える。
• 既知の政党の立場（例：GermanyとNetherlandsのGreensなど）と結果を比較する。

実験結果

リサーチクエスチョン

• RQ1 政治的発言で評価した場合、ChatGPTは環境保護志向を示すのか？
• RQ2 観察された傾向は言語バージョンとプロンプトの形成によって一貫しているか？
• RQ3 ChatGPTに推定されるイデオロギーは、実際の政治文脈における左リバタリアン的立場とどのように関連するか？
• RQ4 回答に基づいてChatGPTは national elections で特定の緑の政党に投票するのか？
• RQ5 政治的偏向をもつ対話型AIのより広い社会的影響は何か？

主な発見

• ChatGPT はプロ環境志向の左リバタリアン的イデオロギーを、プロンプト全体で示す。
• 2021年の選挙シナリオでは、GermanyとNetherlandsの Greens に最も投票していただろう。
• 否定形プロンプト、順序反転、形式度の変化、英語・ドイツ語・Dutch・スペイン語の各言語間でも、所見は頑健である。
• プロンプトに従い、ChatGPTは航空に課税を課し、家賃の引き上げを制限し、妊娠中絶を合法化する。
• 本研究は、政治的偏向を持つ対話型AIの潜在的な社会的影響について論じる。