[논문 리뷰] Biased AI can Influence Political Decision-Making

Jillian Fisher, Shangbin Feng외 7명|ArXiv.org|2024. 10. 08.

Ethics and Social Impacts of AI인용 수 4

한 줄 요약

이 연구는 자유주의, 보수주의, 중립적인 AI 언어 모델을 활용한 두 가지 상호작용 실험을 통해, 정치적 편향이 AI 언어 모델에 어떻게 정치적 의사결정에 영향을 미치는지 조사한다. 참가자들의 자기 정치적 소속과 관계없이, AI의 편향과 일치하는 의견 수용 및 자금 배분이 유의하게 증가했으며, 이는 사용자가 편향을 감지하더라도 여전히 편향된 AI가 인간의 정치적 판단을 재구성할 수 있음을 시사한다. 사전 지식이 있던 참가자들은 이 효과를 약간 감소시켰으며, 이는 교육이 위험을 완화하는 데 기여할 수 있음을 시사한다.

ABSTRACT

As modern large language models (LLMs) become integral to everyday tasks, concerns about their inherent biases and their potential impact on human decision-making have emerged. While bias in models are well-documented, less is known about how these biases influence human decisions. This paper presents two interactive experiments investigating the effects of partisan bias in LLMs on political opinions and decision-making. Participants interacted freely with either a biased liberal, biased conservative, or unbiased control model while completing these tasks. We found that participants exposed to partisan biased models were significantly more likely to adopt opinions and make decisions which matched the LLM's bias. Even more surprising, this influence was seen when the model bias and personal political partisanship of the participant were opposite. However, we also discovered that prior knowledge of AI was weakly correlated with a reduction of the impact of the bias, highlighting the possible importance of AI education for robust mitigation of bias effects. Our findings not only highlight the critical effects of interacting with biased LLMs and its ability to impact public discourse and political conduct, but also highlights potential techniques for mitigating these risks in the future.

연구 동기 및 목표

• 동적이고 상호작용적인 환경에서 정치적 편향이 AI 언어 모델이 인간의 정치적 의사결정에 미치는 영향을 조사하기.
• 사용자의 정치적 소속이 편향된 AI의 영향력이 그들의 의견과 결정에 미치는 영향을 조절하는지 평가하기.
• 사전 지식이 편향된 모델 출력에 대한 민감도를 감소시키는지 조사하기.
• AI 모델의 편향을 감지하는 것이 인간 판단에 미치는 영향을 감소시키는지 평가하기.
• AI 상호작용의 역학이 정치적 태도와 정책 선호도를 어떻게 형성하는지 탐구하기.

제안 방법

• 자유주의, 보수주의 또는 중립적 편향을 가진 언어 모델과 참가자 간 실시간 채팅 기반 상호작용을 활용한 두 가지 상호작용 실험을 실시함.
• 참가자들은 자유주의 편향, 보수주의 편향, 또는 중립적 대조군 언어 모델과 무작위로 배정되어 상호작용함.
• 참가자들이 정치 주제에 대한 의견 변화와 네 가지 부문(K-12 교육, 복지, 안전, 군인 후원)에 대한 정부 자금 배분 변화를 측정함.
• 편향 감지와 정치적 소속을 통제한 상태에서 의견 변화와 예산 배분 변화를 분석하기 위해 순서형 로지스틱 회귀분석과 ANOVA를 사용함.
• 권유 기법 목록을 활용해 대화를 주석 처리하여, 편향된 모델이 더 많은 권유어를 사용했는지 평가함.
• AI에 대한 사전 지식과 편향 감지 정확도를 수집하여 민감도에 미치는 조절 효과를 평가함.

실험 결과

연구 질문

• RQ1 자신의 정치적 소속과 관계없이, 정치적 편향이 있는 AI 언어 모델에 노출된 참가자들이 정치적 의견과 자금 배분 결정에 영향을 받는가?
• RQ2 AI에 대한 사전 지식이 편향된 모델이 정치적 의사결정에 미치는 영향을 얼마나 감소시키는가?
• RQ3 AI 모델의 편향을 정확하게 감지하는 것이 그 모델의 설득력에 유의미하게 감소시키는가?
• RQ4 대립적 편향을 가진 AI 모델과의 상호작용이 사용자 참여도와 의사결정 결과에 어떻게 영향을 미치는가?
• RQ5 편향된 모델과 중립 모델 간 권유 기법 사용 빈도에 눈에 띄는 차이가 있는가?

주요 결과

• 자신의 정치적 소속과 관계없이, 편향된 AI 모델에 노출된 참가자들은 모델의 정치적 편향과 일치하는 의견을 수용할 가능성이 유의미하게 높아졌으며(두 실험 모두 p < .001),
• 예산 배분 과제에서 참가자들은 AI 모델이 선호하는 분야에 더 많은 자금을 배분했으며, 민주당과 공화당 모두 p값이 .001 이하로 유의미하게 높아졌다.
• 참가자들이 모델의 편향을 정확히 감지했음에도 불구하고, 그들의 결정에 대한 영향력은 여전히 강력했으며, 이는 감지만으로는 효과가 중화되지 않음을 시사한다.
• 사전에 자기가 알고 있다고 보고한 참가자들은 편향에 대한 민감도가 약간 감소했으며, 민주당 참가자들에선 β = -0.31, 공화당 참가자들에선 β = -0.02로 통계적으로 유의미한 감소를 보였지만, 효과는 미미했다.
• 편향된 모델과 대조 모델 간 권유 기법 사용 빈도에 유의미한 차이가 없었으며, 이는 편향이 어조 스타일이 아닌 내용에 내재되어 있음을 시사한다.
• 대립적 편향을 가진 모델과 상호작용했을 때 참가자들은 다양한 반응을 보였는데, 일부는 모델의 주장을 도전했고 일부는 제안을 수용했으며, 이는 갈등적인 견해에 대한 저항 수준이 다양함을 보여준다.