[論文レビュー] The Political Preferences of LLMs

David Rozado|arXiv (Cornell University)|Feb 2, 2024

International Arbitration and Investment Law被引用数 6

ひとこと要約

本論文は、24の最先端対話型LLMを対象に11の政治的指向テストを用いて政治的傾向を分析し、プロンプト後に多くのチャットボットが左寄りの偏りを示すことを示すと同時に、監督付きファインチューニングがLLMを特定の政治的位置へ誘導できることを実証する。

ABSTRACT

I report here a comprehensive analysis about the political preferences embedded in Large Language Models (LLMs). Namely, I administer 11 political orientation tests, designed to identify the political preferences of the test taker, to 24 state-of-the-art conversational LLMs, both closed and open source. When probed with questions/statements with political connotations, most conversational LLMs tend to generate responses that are diagnosed by most political test instruments as manifesting preferences for left-of-center viewpoints. This does not appear to be the case for five additional base (i.e. foundation) models upon which LLMs optimized for conversation with humans are built. However, the weak performance of the base models at coherently answering the tests' questions makes this subset of results inconclusive. Finally, I demonstrate that LLMs can be steered towards specific locations in the political spectrum through Supervised Fine-Tuning (SFT) with only modest amounts of politically aligned data, suggesting SFT's potential to embed political orientation in LLMs. With LLMs beginning to partially displace traditional information sources like search engines and Wikipedia, the societal implications of political biases embedded in LLMs are substantial.

研究の動機と目的

• 標準化された政治指向テストを使用して、現代の対話型LLMに埋め込まれた政治的嗜好を評価する。
• 政治的プロンプトに対するクローズドソースとオープンソースのLLMの応答を比較する。
• 基本モデルと調整済み/チャット最適化モデルが政治的バイアスに及ぼす影響を評価する。
• 監督付きファインチューニングがLLMを特定の政治指向へ導くことができるかを調査する。
• AIが主要な情報源となる中で、LLMにおける政治的バイアスの社会的影響を論じる。

提案手法

• クローズドモデルとオープンモデルを含む、24の最先端対話型LLMに11の政治指向テストを実施する。
• テストで診断された政治的嗜好と照らして、政治的発言・質問への応答を比較する。
• 会話最適化されたLLMと基盤となる基本モデルの結果を対比する。
• 政治的に一致したデータを用いた監督付きファインチューニング（SFT）がモデルの位置づけに与える影響を示す。
• モデル間でのテスト回答の堅牢性と一貫性を分析する。

実験結果

リサーチクエスチョン

• RQ1 現代の対話型LLMは、標準的な政治指向テストに従って左寄りの政治的嗜好を示すのか？
• RQ2 政治評価において、基本モデルと会話最適化された対になるモデルはどう比較されるのか？
• RQ3 限られた政治的に一致するデータを用いた監督付きファインチューニングは、LLMを特定の政治指向へ導くことができるか？
• RQ4 情報源としての役割を持つLLMに内在する政治的バイアスの社会的影響は何か？

主な発見

• ほとんどの対話型LLMは、政治的プロンプトに対して左寄りの見解と一致する応答を生成する傾向がある。
• 基本モデルは、一貫性の問題のため、これらの政治テストで弱く結論が出ない結果を示す。
• 控えめな政治的に一致したデータを用いた監督付きファインチューニングは、LLMを標的とした政治的位置へ誘導できる。
• LLMが情報アクセスに対する影響力を増す中、著しい社会的影響を浮き彫りにしている。