[논문 리뷰] The political ideology of conversational AI: Converging evidence on ChatGPT's pro-environmental, left-libertarian orientation

Jochen Hartmann, Jasper Schwenzow외 1명|arXiv (Cornell University)|2023. 01. 05.

Ethics and Social Impacts of AI인용 수 35

한 줄 요약

논문은 정치적 발언으로 ChatGPT의 정치적 정렬을 조사하고, 여러 실험과 언어에서 환경 친화적이고 좌-자유주의 성향을 발견했다.

ABSTRACT

Conversational artificial intelligence (AI) disrupts how humans interact with technology. Recently, OpenAI introduced ChatGPT, a state-of-the-art dialogue model that can converse with its human counterparts with unprecedented capabilities. ChatGPT has witnessed tremendous attention from the media, academia, industry, and the general public, attracting more than a million users within days of its release. However, its explosive adoption for information search and as an automated decision aid underscores the importance to understand its limitations and biases. This paper focuses on one of democratic society's most important decision-making processes: political elections. Prompting ChatGPT with 630 political statements from two leading voting advice applications and the nation-agnostic political compass test in three pre-registered experiments, we uncover ChatGPT's pro-environmental, left-libertarian ideology. For example, ChatGPT would impose taxes on flights, restrict rent increases, and legalize abortion. In the 2021 elections, it would have voted most likely for the Greens both in Germany (Bündnis 90/Die Grünen) and in the Netherlands (GroenLinks). Our findings are robust when negating the prompts, reversing the order of the statements, varying prompt formality, and across languages (English, German, Dutch, and Spanish). We conclude by discussing the implications of politically biased conversational AI on society.

연구 동기 및 목표

• 선거 등 민주적 의사결정 맥락에서 ChatGPT의 정치적 편향성을 평가한다.
• 다양한 프롬프트 설정을 사용하여 환경적 입장과 좌-자유주의 입장과의 정렬을 조사한다.
• 언어 및 프롬프트 변형에 따른 연구 결과의 강건성을 시험한다.
• 정치적으로 편향된 대화형 AI의 사회적 함의에 대한 논의를 제공한다.

제안 방법

• 선거 조언 애플리케이션의 630개 정치 진술과 국가-독립적 정치 나침반 테스트로 ChatGPT에 프롬프트를 제공한다.
• 방향성을 평가하기 위해 미리 등록된 세 가지 실험을 실행한다.
• 프롬프트를 부정하고 진술 순서를 역전시켜 강건성을 검증한다.
• 프롬프트의 격식체와 언어를 변경한다(영어, 독일어, 네덜란드어, 스페인어).
• 독일과 네덜란드의 녹색당과 같은 알려진 정당 입장과 결과를 비교한다.

실험 결과

연구 질문

• RQ1 정치적 진술에 대해 평가될 때 ChatGPT가 환경 친화적 방향성을 보이나?
• RQ2 관찰된 방향성이 언어 버전과 프롬프트 형식 전반에 걸쳐 일관되게 나타나는가?
• RQ3 실질적 정치 맥락에서 ChatGPT의 추론된 이데올로기가 좌-자유주의 입장과 어떤 관련이 있는가?
• RQ4 답변에 근거해 ChatGPT가 각국의 특정 녹색당에 투표할 가능성이 있는가?
• RQ5 정치적으로 편향된 대화형 AI의 더 넓은 사회적 함의는 무엇인가?

주요 결과

• ChatGPT는 프롬프트 전반에 걸쳐 환경 친화적이고 좌-자유주의 이데올로기를 보여준다.
• 2021년 선거 시나리오에서 독일과 네덜란드의 녹색당에 가장 많이 투표했을 것이다.
• 부정 프롬프트, 순서 역전, 격식의 변화, 영어/독일어/네덜란드어/스페인어 전반에서 결과의 강건성은 유지된다.
• 프롬프트에 따라 ChatGPT는 항공에 세금을 부과하고 임대료 인상을 제한하며 낙태를 합법화할 것이다.
• 본 연구는 정치적으로 편향된 대화형 AI의 잠재적 사회적 함의를 논의한다.