[논문 리뷰] Large Language Models Can Be Used to Estimate the Latent Positions of Politicians

Patrick Y. Wu, Jonathan Nagler외 2명|arXiv (Cornell University)|2023. 03. 21.

Computational and Text Analysis Methods인용 수 29

한 줄 요약

본 논문은 LaMP를 소개합니다. 이는 지시-조정된 LLM을 활용한 pairwise 비교 방법으로, 이데올로기, 총기 규제, 낙태에 대한 잠재적 정치인 입장을 추정하고 Bradley-Terry 모델로 스케일링하며, 기존 지표와 예측 투표 데이터에 대해 이 척도들을 검증합니다.

ABSTRACT

Existing approaches to estimating politicians' latent positions along specific dimensions often fail when relevant data is limited. We leverage the embedded knowledge in generative large language models (LLMs) to address this challenge and measure lawmakers' positions along specific political or policy dimensions. We prompt an instruction/dialogue-tuned LLM to pairwise compare lawmakers and then scale the resulting graph using the Bradley-Terry model. We estimate novel measures of U.S. senators' positions on liberal-conservative ideology, gun control, and abortion. Our liberal-conservative scale, used to validate LLM-driven scaling, strongly correlates with existing measures and offsets interpretive gaps, suggesting LLMs synthesize relevant data from internet and digitized media rather than memorizing existing measures. Our gun control and abortion measures -- the first of their kind -- differ from the liberal-conservative scale in face-valid ways and predict interest group ratings and legislator votes better than ideology alone. Our findings suggest LLMs hold promise for solving complex social science measurement problems.

연구 동기 및 목표

• 희소하거나 불완전한 데이터일 때 입법자 위치를 측정하는 새로운 접근법을 고안한다.
• 지시-조정된 LLM에 내재된 지식을 활용하여 상원의원에 대한 쌍대 비교를 수행한다.
• Bradley-Terry 모델을 사용하여 LLM 응답을 연속적인 잠재 위치 점수로 스케일링한다.
• 확립된 이념 척도 및 외부 결과에 대해 결과로 얻은 LaMP 점수를 검증한다.
• LLM 기반 스케일링이 이슈별 정치적 차원에 미칠 잠재력을 보여준다.

제안 방법

• 각 목표 차원에 대해 116th Congress의 모든 상원의원 간의 쌍대 대진을 생성한다.
• 주어진 차원(자유주의-보수주의 이념, 총기 규제, 낙태 권리)에 대해 ‘승자’ 를 선택하도록 지시-대화-조정된 LLM(ChatGPT-3.5)을 프롬프트한다.
• 쌍대 승자/패자를 단일 차원 잠재 척도로 변환하기 위해 Bradley-Terry 모델을 적용한다.
• 각 대진에서 예시를 제공하지 않고 이름, 당, 주만 입력 변수로 사용하여 제로샷 설정으로 LLM을 활용한다.
• 3차 반복으로 대진을 반복하고 반복 간 상관을 계산하여 안정성을 평가한다.
• 이념 LaMP를 DW-NOMINATE 및 인지된 이념/CFscores와 대조 검증한 뒤, Gun Control LaMP 및 Abortion Rights LaMP를 NRA/NARAL 결과 및 관련 투표와 대조 검증한다.

실험 결과

연구 질문

• RQ1 생성적 LLM이 사전에 정의된 정치 차원에 대해 의원에 대한 일관된 쌍대 판단을 제시할 수 있는가?
• RQ2 LLM으로 도출된 척도가 DW-NOMINATE와 같은 확립된 이념 척도 또는 인지된 이념 점수와 일치하는가?
• RQ3 이슈별 LaMP 척도(총기 규제, 낙태 권리)가 외부 결과(NRA 등급, NARAL 등급 및 관련 투표)에 대해 예측 타당성을 제공하는가?
• RQ4 LaMP 점수는 전통적 행동 기반 또는 인식 기반 이념 측정치 이상 정보를 포착하는가?

주요 결과

• 이념 LaMP 점수는 DW-NOMINATE의 첫 번째 차원과 높은 상관관계를 보인다(전반적으로 0.967).
• 이념 LaMP 점수는 인지된 이념(0.941) 및 CFscores(0.933)와의 상관을 보인다.
• Gun Control LaMP 점수는 NRA 등급 및 2022년 Bipartisan Safer Communities Act 표결을 예측하며 DW-NOMINATE를 넘어서는 예측 타당성을 보인다(예: Gun Control LaMP만으로 공화당의 NRA 표결을 예측할 때 0.214).
• Abortion Rights LaMP 점수는 알려진 찬반 신념(Pro-choice/pro-life) 위치와 일치하며 DW-NOMINATE보다 NARAL 등급 예측에 더 잘 맞는다.
• LaMP 점수는 반복 간에 안정적이다(Ideology LaMP 상관계수 ≥0.997; Gun Control LaMP 상관계수 ≥0.993; Abortion Rights LaMP 상관계수 ≥0.996).
• LaMP 축은 순수한 당파적 이념과는 다른 차이를 드러내며 이슈별 정치적 차원을 포착할 수 있다(예: 낙태 문제에서 Manchin vs. Collins의 보수적 투표 등).