[논문 리뷰] I Am Not Them: Fluid Identities and Persistent Out-group Bias in Large Language Models

Wenchao Dong, Assem Zhunis외 3명|arXiv (Cornell University)|2024. 02. 16.

Computational and Text Analysis Methods인용 수 4

한 줄 요약

이 연구는 서양 및 동양 언어에서 개인주의 또는 집단주의적 성격을 가진 대조적 인격을 부여함으로써 대규모 언어 모델(Large Language Models, LLMs)의 외집단 편향을 조사한다. 검증된 문화 및 정치 설문지를 사용하여, LLMs는 내집단 긍정성보다 최대 3배 이상의 강한 부정적 편향을 보이며, 중립적인 프롬프트에서도 지속적인 심리적 외집단 차별이 존재함을 발견한다.

ABSTRACT

We explored cultural biases-individualism vs. collectivism-in ChatGPT across three Western languages (i.e., English, German, and French) and three Eastern languages (i.e., Chinese, Japanese, and Korean). When ChatGPT adopted an individualistic persona in Western languages, its collectivism scores (i.e., out-group values) exhibited a more negative trend, surpassing their positive orientation towards individualism (i.e., in-group values). Conversely, when a collectivistic persona was assigned to ChatGPT in Eastern languages, a similar pattern emerged with more negative responses toward individualism (i.e., out-group values) as compared to collectivism (i.e., in-group values). The results indicate that when imbued with a particular social identity, ChatGPT discerns in-group and out-group, embracing in-group values while eschewing out-group values. Notably, the negativity towards the out-group, from which prejudices and discrimination arise, exceeded the positivity towards the in-group. The experiment was replicated in the political domain, and the results remained consistent. Furthermore, this replication unveiled an intrinsic Democratic bias in Large Language Models (LLMs), aligning with earlier findings and providing integral insights into mitigating such bias through prompt engineering. Extensive robustness checks were performed using varying hyperparameter and persona setup methods, with or without social identity labels, across other popular language models.

연구 동기 및 목표

• 대규모 언어 모델(Large Language Models, LLMs)이 사회정체성 이론에 기반한 특정 문화 정체성에 의해 자극받을 때 외집단 편향을 보이는지 조사하는 것.
• 특히 서양(개인주의)과 동양(집단주의) 언어 집단 간 언어적·문화적 경계를 초월해 그러한 편향이 지속되는지 여부를 검토하는 것.
• 미국 정치 문화에 부합하는 맥락 특화 프롬프트를 사용하여 정치 분야에서의 외집단 편향의 강건성을 평가하는 것.
• 특히 대립하는 성격을 가진 프롬프트 엔지니어링을 통해 LLMs 내에 기존에 존재하는 이념적 편향을 완화할 수 있는지 탐색하는 것.
• 표준화된 설문지 및 성격 기반 프롬프팅을 활용한 LLMs 내 사회문화적 편향 측정을 위한 방법론적 프레임워크 제공

제안 방법

• 영어, 독어, 프랑스어(서양), 중국어, 일본어, 한국어 등 6개 언어에서 역할 기반 프롬프팅을 통해 ChatGPT, Gemini, Llama 등의 LLMs에 개인주의 또는 집단주의적 성격을 부여하였다.
• 내집단 및 외집단 가치 정렬을 정량화하기 위해 개인주의 대 집단주의를 측정하는 검증된 문화 설문지 질문을 적용하였다.
• 미국 정치 문화에 부합하는 수정된 정치 척도 테스트 질문을 사용하여 정치 분야에서의 이념적 편향을 평가하기 위해 실험을 복제하였다.
• 다양한 하이퍼파rameter, 성격 정의, 그리고 명시적 사회정체성 레이블 유무를 고려한 광범위한 강건성 검증을 실시하였다.
• 내집단과 외집단 가치에 대한 반응 점수의 차이를 편향으로 측정하였으며, 음수 점수는 외집단 차별을 나타낸다.
• 대조 성격(예: 자유주의 성향 모델에 대해 공화당 성격)을 사용한 반대 프롬프트를 통한 보정을 통해 편향 완화 가능성을 평가하였다.

실험 결과

연구 질문

• RQ1 사회정체성 이론에 따라 정의된 문화 정체성에 의해 자극받을 때 LLMs가 얼마나 강한 외집단 편향을 보이는가?
• RQ2 개인주의 및 집단주의 문화 프레임워크에서 다국어 LLMs 간에 외집단 편향의 정도가 내집단 선호를 초월하는가?
• RQ3 정치 분야에서 외집단 편향은 재현 가능한가? 그리고 그 크기와 방향에서 문화적 편향과 비교해 볼 때 어떠한가?
• RQ4 대조 성격을 가진 프롬프트 엔지니어링을 통해 LLMs 내 기존의 이념적 편향을 효과적으로 감소 또는 중화시킬 수 있는가?
• RQ5 이러한 편향 패턴은 서양어와 동양어 언어 환경 간에 일관된가?

주요 결과

• LLMs는 내집단 선호보다 외집단 편향이 현저히 강하며, 외집단 차별의 정도가 내집단 긍정성의 평균 최대 3배에 이르렀다.
• 서양 언어에서 개인주의 성격을 부여받은 ChatGPT는 집단주의(외집단)에 대해 더 부정적인 반응을 보였고, 개인주의(내집단)에 대한 긍정성보다도 더 강했다.
• 동양 언어에서는 집단주의 성격을 부여받은 LLMs가 개인주의(외집단)에 대해 더 부정적인 평가를 내렸고, 집단주의(내집단)에 대한 긍정성보다도 더 강했다. 이는 대칭적인 편향 패턴을 확인한 것이다.
• 정치 분야에서의 복제 실험은 지속적인 외집단 편향을 확인하였으며, LLMs는 이전 연구 결과와 일치하는 명확한 민주당 편향을 보였다.
• 자신의 성향에 대비되는 성격(예: 자유주의 성향 모델에 대해 공화당 성격)을 사용한 프롬프트 엔지니어링은 기존의 이념적 편향을 감소시켰지만 완전히 제거하지는 못했다.
• 강건성 검증을 통해 다양한 하이퍼파rameter, 성격 정의, 명시적 사회정체성 레이블 유무 상황에서도 일관된 편향 패tern이 유지되어, 이는 예외적인 현상이 아니라 체계적 편향임을 시사한다.