[論文レビュー] Measuring Political Stance and Consistency in Large Language Models

Salah Feras Alali, Mohammad Nashat Maasfeh+2 more|arXiv (Cornell University)|Jan 15, 2026

Computational and Text Analysis Methods被引用数 0

ひとこと要約

この論文は、5つの prompting テクニックを用いて9つの LLM の24の問題に対する政治的立場を分析し、立場のばらつき、クロスプロンプトの一貫性、そしてバイアスに対するプロンプト言語の強い影響を明らかにしています。

ABSTRACT

With the incredible advancements in Large Language Models (LLMs), many people have started using them to satisfy their information needs. However, utilizing LLMs might be problematic for political issues where disagreement is common and model outputs may reflect training-data biases or deliberate alignment choices. To better characterize such behavior, we assess the stances of nine LLMs on 24 politically sensitive issues using five prompting techniques. We find that models often adopt opposing stances on several issues; some positions are malleable under prompting, while others remain stable. Among the models examined, Grok-3-mini is the most persistent, whereas Mistral-7B is the least. For issues involving countries with different languages, models tend to support the side whose language is used in the prompt. Notably, no prompting technique alters model stances on the Qatar blockade or the oppression of Palestinians. We hope these findings raise user awareness when seeking political guidance from LLMs and encourage developers to address these concerns.

研究の動機と目的

• Asia、Middle East、Eastern Europe の3つの未検討地域問題に対する LLM の政治的傾向を評価する。
• 異なる prompting 戦略が立場と一貫性にどのように影響するかを検討する。
• どの prompting 手法がモデル間で最も立場を変えさせるかを特定する。
• LLM の政治的バイアスのさらなる研究を支援する再現可能なデータとコードを提供する。

提案手法

• 直接質問とその派生型（反対意見、両陣営、質問の再構成）を用いたプロンプトを設計する。
• 各 prompting 戦略につき3つのパラフレーズを使い、一貫性を検証する。
• 多言語プロンプトのためにプロンプトを現地語に翻訳し、立場識別のために出力を英語に再翻訳する。
• 各回答の立場を分類するための二次的な LLM を審判として用い、Grok-3-mini を外部検証として使用する。
• 9つの LLM で24のトピックを通じて結果を分析する（トピックごとに各手法3つのパラフレーズ）。
• 再現性のためのコードとデータを提供する。

実験結果

リサーチクエスチョン

• RQ1 9つの LLM が18の politically sensitive issues に対して異なる prompting 方法でどれだけ一貫して立場を取るか？
• RQ2 prompting 戦略（反対意見、両陣営、言語プロンプト） は立場をどの程度変化させるか、それとも維持するか？
• RQ3 プロンプト言語はモデルの政治的バイアスに影響を与えるか、言語跨ぎ prompting は結果にどう影響するか？
• RQ4 どのモデルがプロンプト間で最もまたは最も少なく政治的立場の持続性を示すか？

主な発見

• 多くの LLM が敏感な問題で中立ではなく一方の立場を取る。
• Grok-3-mini が最も持続的なモデルで、5つの問題でのみ立場を変更；Mistral は19件で変化。
• プロンプトをまたがって、216のモデル–トピックペアのうち118が安定した立場を示し、相当な一貫性を示唆。
• プロンプト言語を変更することが、試験された技術の中で立場に影響を与える最も効果的な方法である。
• DeepSeek は関連する問題で中国政府を一貫して支持する一方、他のモデルは複数のトピックでこれに反対する傾向が大きい。