[論文レビュー] The Self-Perception and Political Biases of ChatGPT

Jérôme Rutinowski, Sven Franke+3 more|arXiv (Cornell University)|Apr 14, 2023

Artificial Intelligence in Healthcare and Education被引用数 25

ひとこと要約

本研究は、ChatGPT の政治的偏見と自己認識の性格を、政治的および心理測定テストを実施させることで分析し、進歩的な偏りと高い開放性・協調性を示す ENFJ 自己タイプを見出した。

ABSTRACT

This contribution analyzes the self-perception and political biases of OpenAI's Large Language Model ChatGPT. Taking into account the first small-scale reports and studies that have emerged, claiming that ChatGPT is politically biased towards progressive and libertarian points of view, this contribution aims to provide further clarity on this subject. For this purpose, ChatGPT was asked to answer the questions posed by the political compass test as well as similar questionnaires that are specific to the respective politics of the G7 member states. These eight tests were repeated ten times each and revealed that ChatGPT seems to hold a bias towards progressive views. The political compass test revealed a bias towards progressive and libertarian views, with the average coordinates on the political compass being (-6.48, -5.99) (with (0, 0) the center of the compass, i.e., centrism and the axes ranging from -10 to 10), supporting the claims of prior research. The political questionnaires for the G7 member states indicated a bias towards progressive views but no significant bias between authoritarian and libertarian views, contradicting the findings of prior reports, with the average coordinates being (-3.27, 0.58). In addition, ChatGPT's Big Five personality traits were tested using the OCEAN test and its personality type was queried using the Myers-Briggs Type Indicator (MBTI) test. Finally, the maliciousness of ChatGPT was evaluated using the Dark Factor test. These three tests were also repeated ten times each, revealing that ChatGPT perceives itself as highly open and agreeable, has the Myers-Briggs personality type ENFJ, and is among the 15% of test-takers with the least pronounced dark traits.

研究の動機と目的

• ChatGPT が prior reports によって主張される政治的偏見を示すかどうかを調査する。
• 標準的な心理測定テストを用いて、ChatGPT の自己認識された性格特性を評価する。
• ChatGPT の性格特性と政治的偏見の潜在的な関係を検討する。
• 複数の実行とプロンプト間の分散を考慮するため、反復測定を用いる。

提案手法

• ChatGPT-3.5 (Mar 23 Version) を用いて、G7 各国の 62-item 政治コンパスと 154/121/109/116/95/127/83 問題の iSideWith 調査に回答させ、各調査をそれぞれ 10 回繰り返す。
• Big Five（88 問題）を5点リッカート尺度、MBTI（60 問題）を7点尺度で用いて、各実行を10 回繰り返して ChatGPT の性格を評価する。
• 同じリッカート尺度で Dark Factor テスト（70 問題）を用いて、性格のダーク特性を評価する、10 回実行。
• 回答をテストオプションに制限し、実行間で新しいチャットで独立した実行を保証するようにプロンプトを初期化する。
• 実行とテスト全体の平均を算出し、平均値と標準偏差を報告し、関連文献と文脈づけして解釈する。

実験結果

リサーチクエスチョン

• RQ1 政治的コンパス上で、ChatGPT は進歩的対保守的、または libertarian 対 authoritarian の立場に偏りを示すか。
• RQ2 国別（G7）政治質問票は一貫した左寄りの傾向を示すか、国によって異なるか。
• RQ3 Big Five、MBTI、および Dark Factor の評価に基づく、ChatGPT の自己認識された性格特性は何か。
• RQ4 モデルの性格特性プロファイルと政治的偏見シグナルとの関係はあるか。
• RQ5 繰り返し実行は検出された偏見と性格評価の安定性に影響を与えるか。

主な発見

• 政治コンパスでは、ChatGPT は 10 回の実行を通じて平均 (-6.48, -5.99) を示し、両軸で安定した libertarian left / progressive 偏りを示している。
• G7 固有の質問票では、ChatGPT は平均 (-3.27, 0.58) で、進歩的な偏りを示すが、 authoritarian vs libertarian の有意な偏りはない。
• ビッグファイブの結果は、開放性 76.3%、協調性 82.55% で、これらの特性の人間の平均より高い。
• MBTI 結果は平均的に ChatGPT を ENFJ に位置づけ、E は約51%、内向/外向の顕著な傾向はない。
• Dark Factor の結果は平均 Dark Score が 1.9（受験者の15パーセンタイル）で、自己愛とサディズムがモデルの特性の中で相対的に高い順位。
• 総じて、本研究は進歩的な偏りと開放性・協調性に合致する自己認識的性格特性を示唆するが、二重解釈の可能性と結果の探索的性質を指摘している。