[論文レビュー] Large Language Models Can Be Used to Estimate the Latent Positions of Politicians

Patrick Y. Wu, Jonathan Nagler+2 more|arXiv (Cornell University)|Mar 21, 2023

Computational and Text Analysis Methods被引用数 29

ひとこと要約

本論文は LaMP を提案する。これは指示調整済み LLM を用いたペアワイズ比較手法で、イデオロギー、銃規制、妊娠中絶に関する潜在的な政治家の立場を推定し、Bradley-Terry モデルでスケール化し、既存の指標や予測投票データと照合してこれらの尺度を検証する。

ABSTRACT

Existing approaches to estimating politicians' latent positions along specific dimensions often fail when relevant data is limited. We leverage the embedded knowledge in generative large language models (LLMs) to address this challenge and measure lawmakers' positions along specific political or policy dimensions. We prompt an instruction/dialogue-tuned LLM to pairwise compare lawmakers and then scale the resulting graph using the Bradley-Terry model. We estimate novel measures of U.S. senators' positions on liberal-conservative ideology, gun control, and abortion. Our liberal-conservative scale, used to validate LLM-driven scaling, strongly correlates with existing measures and offsets interpretive gaps, suggesting LLMs synthesize relevant data from internet and digitized media rather than memorizing existing measures. Our gun control and abortion measures -- the first of their kind -- differ from the liberal-conservative scale in face-valid ways and predict interest group ratings and legislator votes better than ideology alone. Our findings suggest LLMs hold promise for solving complex social science measurement problems.

研究の動機と目的

• データが乏しいまたは不完全な場合に潜在的な立法的位置を測定する新しいアプローチの動機づけ。
• 指示調整済み LLM に内在する知識を活用して上院議員のペアワイズ比較を行う。
• Bradley-Terry モデルを用いて LLM 応答を連続的な潜在位置スコアにスケールする。
• 得られた LaMP スコアを確立されたイデオロギー指標および外部の結果と検証する。
• 特定の問題領域の政治的次元に対する LLM ベースのスケーリングの可能性を示す。

提案手法

• 対象次元ごとに116th Congress の全上院議員のペアワイズ対戦を作成する。
• 指示/対話調整済み LLM（ChatGPT-3.5）に対し、各対戦で与えられた次元（リベラル-保守のイデオロギー、銃規制、妊娠中絶の権利）に対する“勝者”を選択させる。
• Bradley-Terry モデルを適用してペアワイズの勝者/敗者を一元的な潜在スケール（LaMP スコア）に変換する。
• 例を提供せず、各対戦で名前、政党、州のみを LLM への入力とするゼロショット設定を使用する。
• 3 回の反復で対戦を繰り返し、反復間の相関を計算して安定性を評価する。
• Ideology LaMP を DW-NOMINATE および perceived ideology/CFscores に対して検証し、次に Gun Control LaMP および Abortion Rights LaMP を NRA/NARAL の結果および関連票に照らして検証する。

実験結果

リサーチクエスチョン

• RQ1 生成系 LLM は事前に定義された政治的次元について立法者に関する一貫したペアワイズ判断を生成できるか。
• RQ2 LLM 由来の尺度は DW-NOMINATE や perceived ideology scores のような既存のイデオロギー指標と一致するか。
• RQ3 問題特有の LaMP スケール（銃規制、妊娠中絶の権利）は外部結果（NRA 格付け、NARAL 格付け、および関連する投票）に対する予測妥当性を提供できるか。
• RQ4 LaMP スコアは伝統的な行動ベースまたは認識ベースのイデオロギー指標を超える情報を捉えているか。

主な発見

• Ideology LaMP スコアは DW-NOMINATE の第一次元と高い相関を示す（総合で 0.967）。
• Ideology LaMP スコアは perceived ideology（0.941）および CFscores（0.933）と相関する。
• Gun Control LaMP スコアは NRA の格付けと 2022 年 Bipartisan Safer Communities Act の投票を予測し、DW-NOMINATE を超える予測妥当性を示す（例：Gun Control LaMP のみで共和党票を予測する場合 NRA 投票を予測して 0.214）。
• Abortion Rights LaMP スコアは既知の中絶賛成派/反対派の立場と一致し、NARAL の格付けを DW-NOMINATE よりも良く予測する。
• LaMP スコアは反復を通じて安定している（Ideology LaMP の相関：≥0.997、Gun Control LaMP の相関：≥0.993、Abortion Rights LaMP の相関：≥0.996）。
• LaMP スケールは純粋な党派線のイデオロギーとは異なる差異を示し、イデオロギー的理由による保守的投票や問題固有の立場などのニュアンスを捉えられる（例： abortion に関する Manchin 対 Collins）。