[논문 리뷰] Quite Good, but Not Enough: Nationality Bias in Large Language Models -- A Case Study of ChatGPT

Shucheng Zhu, Weikang Wang외 1명|arXiv (Cornell University)|2024. 05. 11.

Topic Modeling인용 수 4

한 줄 요약

이 연구는 영어 및 중국어로 195개국에 걸쳐 총 4,680건의 국적 관련 논의를 자동 생성하여 ChatGPT의 국적 편향을 조사한다. 자동 평가 지표와 인간/LLM 쌍대 비교를 활용한다. 다수의 출력이 긍정적이고 무례하지 않은 것으로 나타났으나, 특히 중국어 출력에서 실제 세계의 국적 편향이 반영되어 있음을 확인하였으며, 잘 조정된 LLM이라도 미묘하고 문화적으로 조건화된 스테레오타입을 내재하고 있음을 시사한다.

ABSTRACT

While nationality is a pivotal demographic element that enhances the performance of language models, it has received far less scrutiny regarding inherent biases. This study investigates nationality bias in ChatGPT (GPT-3.5), a large language model (LLM) designed for text generation. The research covers 195 countries, 4 temperature settings, and 3 distinct prompt types, generating 4,680 discourses about nationality descriptions in Chinese and English. Automated metrics were used to analyze the nationality bias, and expert annotators alongside ChatGPT itself evaluated the perceived bias. The results show that ChatGPT's generated discourses are predominantly positive, especially compared to its predecessor, GPT-2. However, when prompted with negative inclinations, it occasionally produces negative content. Despite ChatGPT considering its generated text as neutral, it shows consistent self-awareness about nationality bias when subjected to the same pair-wise comparison annotation framework used by human annotators. In conclusion, while ChatGPT's generated texts seem friendly and positive, they reflect the inherent nationality biases in the real world. This bias may vary across different language versions of ChatGPT, indicating diverse cultural perspectives. The study highlights the subtle and pervasive nature of biases within LLMs, emphasizing the need for further scrutiny.

연구 동기 및 목표

• 대규모 언어 모델, 특히 ChatGPT에서 국적 편향의 존재와 성격을 조사하기 위해.
• 다른 언어(영어 및 중국어)와 프롬프트 조건에서 국적 편향이 어떻게 달라지는지 분석하기 위해.
• 이진 분류가 아닌 연속적인 편향 평가를 위한 새로운 쌍대 비교 프레임워크를 개발하기 위해.
• 인간 평가자와 ChatGPT의 자체 편향 평가 간 일관성을 평가하기 위해.
• 실제 세계의 사회 지표(예: GDP, HDI)가 모델이 생성한 논의에서 인식되는 편향에 어떤 영향을 미치는지 탐색하기 위해.

제안 방법

• 영어 및 중국어로 195개국, 4개의 온도 설정, 3종류의 프롬프트 유형을 사용해 총 4,680건의 국적 관련 논의를 생성하였다.
• 감성, 무례함, 혐오 발언, 존중 수준, 어휘 다양성 등의 자동 평가 지표를 적용해 생성된 텍스트를 평가하였다.
• 인간 전문가와 ChatGPT 자체가 텍스트 쌍 간 상대적 편향을 평가하는 새로운 쌍대 비교 평가 프레임워크를 도입하였다.
• 모델 출력을 실질적인 사회 지표인 PCGDP, HDI, WHR 등과 상관시켜, 세계적 스테레오타입과의 일치 여부를 분석하였다.
• 사회 지표와 생성된 텍스트에서 인식된 편향 간 관계를 분석하기 위해 스피어만 상관계수를 사용하였다.
• 상호 평가자 일관성과 ChatGPT의 자체 평가 간 일관성을 검증하기 위해 상호 평가자 간 일치도와 상관계수 분석을 실시하였다.

실험 결과

연구 질문

• RQ1 중립적 또는 긍정적인 지시가 주어져도 ChatGPT는 국적 편향이 담긴 콘텐츠를 얼마나 생성하는가?
• RQ2 ChatGPT의 출력에서 국적 편향은 영어 버전과 중국어 버전 간에 어떻게 다를까?
• RQ3 ChatGPT는 쌍대 비교 프레임워크를 통해 자신의 편향을 신뢰성 있게 자가 평가할 수 있는가? 인간 평가자와의 비교는 어떠한가?
• RQ4 실제 세계의 사회 지표(예: GDP, 인적 개발)가 ChatGPT가 생성한 텍스트에서 인식되는 편향과 얼마나 상관이 있는가?
• RQ5 감성적으로 중립적이거나 긍정적인 텍스트를 생성할 때조차 모델의 출력이 실제 세계의 국가 스테레오타입을 반영하는가?

주요 결과

• ChatGPT의 생성된 텍스트는 영어 및 중국어 프롬프트 모두에서 다수 긍정적이고 무례하지 않으며, GPT-2에 비해 상당한 향상이 있었다.
• 긍정적 감성에도 불구하고 ChatGPT의 출력은 PCGDP, HDI, WHR와 같은 실질적인 사회 지표와 유의미한 상관관계를 보이며, 세계적 스테레오타입과의 일치를 보였다.
• 중국어 출력에서는 경제 발전 수준과 인적 개발 지표가 높은 국가에 대해 더 유리한 묘사가 이루어졌고, 개발 수준이 낮은 국가는 더 부정적인 묘사가 이루어졌다.
• 쌍대 비교를 통해 ChatGPT는 편향에 대해 높은 자기 인식 능력을 보였으며, 인간 평가자의 판단과 매우 높은 일관성을 보였다.
• 동일한 국가에 대해 중국어 출력과 영어 출력 간 상관계수가 거의 없었으며, 서로 다른 언어 버전 간에 문화적 관점의 차이가 있음을 시사했다.
• 모델이 중립적이거나 긍정적인 텍스트를 생성할 때조차도 미묘한 국적 편향이 지속되었으며, 이는 편향이 쉽게 제거되지 않고 연속적인 특성으로 작용함을 시사한다.