[논문 리뷰] The Unequal Opportunities of Large Language Models: Revealing Demographic Bias through Job Recommendations

Abel Salinas, Parth Shah외 3명|arXiv (Cornell University)|2023. 08. 03.

Artificial Intelligence in Healthcare and EducationMedicine참고 문헌 29인용 수 3

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)에서 인구 통계적 편향을 탐지하고 비교하기 위해 직업 추천 기반 방법을 제안하며, ChatGPT와 LLaMA에서 특히 멕시코계 노동자에게 저임금 일자리를, 여성에게는 사무보조 직업을 선호하는 중대한 교차 편향을 드러낸다. 연구는 프롬프트에 성별 또는 국적을 암시하기만 해도 추천 결과가 극적으로 기울어지는 것을 입증하며, 실생활 AI 응용 프로그램에서 편향 완화의 필요성을 강조한다.

ABSTRACT

Large Language Models (LLMs) have seen widespread deployment in various real-world applications. Understanding these biases is crucial to comprehend the potential downstream consequences when using LLMs to make decisions, particularly for historically disadvantaged groups. In this work, we propose a simple method for analyzing and comparing demographic bias in LLMs, through the lens of job recommendations. We demonstrate the effectiveness of our method by measuring intersectional biases within ChatGPT and LLaMA, two cutting-edge LLMs. Our experiments primarily focus on uncovering gender identity and nationality bias; however, our method can be extended to examine biases associated with any intersection of demographic identities. We identify distinct biases in both models toward various demographic identities, such as both models consistently suggesting low-paying jobs for Mexican workers or preferring to recommend secretarial roles to women. Our study highlights the importance of measuring the bias of LLMs in downstream applications to understand the potential for harm and inequitable outcomes.

연구 동기 및 목표

• 대규모 언어 모델(Large Language Models, LLMs)인 ChatGPT와 LLaMA가 성별 및 국적과 같은 인구 통계적 특성에 따라 어떻게 편향된 직업 추천을 생성하는지 조사하기 위해.
• 실생활 의사결정의 대체로 사용할 수 있는 직업 추천 작업을 활용하여 LLMs의 교차 편향을 측정하는 데에 사용할 수 있는 방법을 개발하고 검증하기 위해.
• LLMs의 편향이 기존 사회적 불평등을 반영하거나 악화시키는지, 특히 미국 노동시장 격차와 관련하여 평가하기 위해.
• 특히 성별 또는 국적을 언급하는 프롬프트 변형이 추천 일자리의 분포와 급여 예측에 어떤 영향을 미치는지 평가하기 위해.
• 프롬프트에 포함된 인구 통계적 정보가 의도하지 않게 편향을 유발하거나 악화시킬 수 있음을 규명함으로써, LLMs의 책임 있는 구현을 위한 조치를 제안하기 위해.

제안 방법

• 저자들은 성별 및 국적 등 인구 통계적 특성을 체계적으로 변화시켜 LLMs로부터 직업 추천을 유도하기 위해 통제된 프롬프트 프레임워크를 설계하였다.
• ChatGPT와 LLaMA에서 다양한 인구 통계적 신분(예: '멕시코에서 온 여성', '일본에서 온 남성')을 기반으로 수집한 직업 추천 및 관련 급여 예측치를 분석하였다. 특히 성별과 국적의 교차 정체성에 초점을 맞추었다.
• 인구 통계적 템플릿 간 및 중립 기반 프롬프트와의 비교를 통해, 인구 통계적 언급이 출력 분포에 미치는 영향을 분리하고자 하였다.
• 통계적 분석을 통해 인구 통계적 특성에 따라 직업 유형과 급여 수준의 유의미한 편향을 탐지하였으며, 특히 고임금 직업에서의 부족한 대표성을 중심으로 분석하였다.
• 관측된 모델 편향이 미국 고용통계국(Bureau of Labor Statistics)과 같은 역사적 노동시장 데이터와 일치하는지 평가하여 연구 결과의 맥락을 제공하였다.
• 이 방법은 성별과 국적 외의 다른 인구 통계적 범주에도 확장 가능하여, LLMs의 광범위한 편향 분석을 가능하게 한다.

Figure 1 . Geographical Distribution of 20 Nationalities Recommended by ChatGPT, to be analyzed within our study. Regional preferences are demonstrated in the countries selected by ChatGPT.

실험 결과

연구 질문

• RQ1 ChatGPT와 LLaMA가 성별 및 국적과 같은 인구 통계적 특성을 포함한 프롬프트를 받을 때, 어떻게 다른 직업 추천을 제공하는가?
• RQ2 프롬프트에 성별 또는 국적을 언급할 경우, 추천 일자리의 분포와 관련 급여가 어느 정도 변화하는가?
• RQ3 LLMs가 생성한 직업 추천에서 관찰된 편향이 실제로 존재하는 노동시장 격차를 반영하거나 악화시키는가, 특히 멕시코계 미국인과 여성의 경우에 대해 어떻게 되는가?
• RQ4 프롬프트에 인구 통계적 정보가 포함될 경우, 특히 LLaMA와 같은 모델에서 직업 추천의 실용성과 현실성은 어떻게 영향을 받는가?
• RQ5 직업 추천 작업을 공정성 평가의 대체 지표로 사용하여, LLMs의 편향 탐지에 사용할 수 있는 표준화된 방법을 개발할 수 있는가?

주요 결과

• ChatGPT는 좁은 분야에 걸쳐 614개의 직업 추천을 생성한 반면, LLaMA는 6,106개의 고유한 일자리를 제안했지만, '아랍의 왕녀'와 같은 실현 불가능한 일자리도 포함되어 있었다.
• 두 모델 모두 멕시코계로 식별된 개인에게 지속적으로 저임금 일자리를 추천하여, 멕시코계 미국인에 대한 역사적 노동시장 차별을 반영하고 있었다.
• 여성은 두 모델 모두에서 사무보조 직업으로 지속적으로 추천되어, 성별에 기반한 직업적 고정관념이 여전히 존재하고 있음을 시사한다.
• 인구 통계적 언급이 없는 기준 프롬프트는 국적에 따라 특화된 프롬프트와 비교해 외부자료로 간주되며, 이는 인구 통계적 신호가 출력 분포에 중대한 영향을 미친다는 것을 시사한다.
• LLaMA는 국가 간 총체적 편향은 덜 보였지만, ChatGPT에 비해 더 많은 무작위성과 실현 불가능한 추천을 보였다.
• 연구는 조그만 프롬프트 변형조차도 인구 통계적 특성이 포함될 경우 극적으로 다른 편향된 추천을 유도할 수 있음을 확인하며, 의도하지 않은 편향 증폭의 위험성을 강조한다.

(a) ChatGPT Job Clusters