[논문 리뷰] The Self-Perception and Political Biases of ChatGPT

Jérôme Rutinowski, Sven Franke외 3명|arXiv (Cornell University)|2023. 04. 14.

Artificial Intelligence in Healthcare and Education인용 수 25

한 줄 요약

줄거리: 이 논문은 ChatGPT의 정치적 편향과 자기 인식 성격을 정치적 및 심리계측 시험을 수행하여 분석하고, 진보적 편향과 높은 개방성과 생각의 수용성으로 ENFJ 자기유형을 발견했다.

ABSTRACT

This contribution analyzes the self-perception and political biases of OpenAI's Large Language Model ChatGPT. Taking into account the first small-scale reports and studies that have emerged, claiming that ChatGPT is politically biased towards progressive and libertarian points of view, this contribution aims to provide further clarity on this subject. For this purpose, ChatGPT was asked to answer the questions posed by the political compass test as well as similar questionnaires that are specific to the respective politics of the G7 member states. These eight tests were repeated ten times each and revealed that ChatGPT seems to hold a bias towards progressive views. The political compass test revealed a bias towards progressive and libertarian views, with the average coordinates on the political compass being (-6.48, -5.99) (with (0, 0) the center of the compass, i.e., centrism and the axes ranging from -10 to 10), supporting the claims of prior research. The political questionnaires for the G7 member states indicated a bias towards progressive views but no significant bias between authoritarian and libertarian views, contradicting the findings of prior reports, with the average coordinates being (-3.27, 0.58). In addition, ChatGPT's Big Five personality traits were tested using the OCEAN test and its personality type was queried using the Myers-Briggs Type Indicator (MBTI) test. Finally, the maliciousness of ChatGPT was evaluated using the Dark Factor test. These three tests were also repeated ten times each, revealing that ChatGPT perceives itself as highly open and agreeable, has the Myers-Briggs personality type ENFJ, and is among the 15% of test-takers with the least pronounced dark traits.

연구 동기 및 목표

• 이전 보고서에서 주장된 ChatGPT의 정치적 편향이 나타나는지 조사한다.
• 표준 심리측정 검사를 사용하여 ChatGPT의 자기 인식 성격 특성을 평가한다.
• ChatGPT의 성격 특성 프로필과 정치적 편향 신호 간의 잠재적 관계를 검토한다.
• 여러 실행 및 프롬프트에 걸친 분산을 고려하기 위해 반복 측정으로 신뢰도 증가를 도모한다.

제안 방법

• ChatGPT-3.5(Mar 23 Version)을 사용하여 62항목 정치 컴퍼스 및 154/121/109/116/95/127/83문항의 iSideWith 설문을 G7 국가별로 다중 실행 10회씩 수행한다.
• Big Five(88항목)를 5점 Likert 척도, MBTI(60항목)를 7점 척도로 평가하며 각 실행을 10회 반복한다.
• 다크 팩터 테스트(70항목)를 같은 Likert 척도로 평가하며 10회 반복한다.
• 프롬프트를 초기화하여 응답을 시험 옵션으로 제한하고 실행 간에 새로운 채팅으로 독립된 실행을 보장한다.
• 실행과 테스트의 평균을 계산하고, 평균 및 표준편차를 보고 관련 문헌과 맥락화한다.

실험 결과

연구 질문

• RQ1 ChatGPT가 정치 컴퍼스에서 진보 대 보수 또는 자유민주주의 대 권위주의 입장에 편향을 보이는가?
• RQ2 국가별(G7) 정치 설문지는 특정 국가에서 일관되게 좌향성을 나타내는가 아니면 국가별로 다르게 나타나는가?
• RQ3 Big Five, MBTI, 다크 팩터 평가에 따른 ChatGPT의 자기 인식 성격 특성은 무엇인가?
• RQ4 모델의 성격 특성 프로필과 정치 편향 신호 간에 관계가 있는가?
• RQ5 반복 실행이 탐지된 편향 및 성격 평가의 안정성에 영향을 미치는가?

주요 결과

• 정치 컴퍼스에서 ChatGPT는 10회 실행 동안 평균(-6.48, -5.99)으로 두 축에서 안정적인 자유주의 좌향/진보 편향을 나타냈다.
• G7 특정 설문지의 경우 ChatGPT는 평균(-3.27, 0.58)로 진보 편향을 보였으나 권위주의 대 자유지향성 편향은 유의하게 나타나지 않았다.
• 빅 파이브 결과에서 개방성이 76.3%, 친화성이 82.55%로 이 특성에서 일반적인 인간 평균보다 높게 나타났다.
• MBTI 결과는 평균적으로 ENFJ로 배치되며 E는 약 51% 수준이고 내향성/외향성 경향은 뚜렷하지 않다.
• 다크 팩터 결과 평균 다크 스코어는 1.9로 평가자 15번째 백분위에 해당하며 이기심과 악마화 경향이 모델 특성 중 상대적으로 높게 나타난다.
• 전반적으로 이 연구는 개방성과 친화성과 일치하는 진보 편향 및 자기 인식 성격 특성을 시사하지만, 이 해석에는 이중적 가능성과 탐색적 성격이 있음을 지적한다.