[논문 리뷰] Fairness of ChatGPT

Yunqi Li, Yongfeng Zhang외 1명|arXiv (Cornell University)|2023. 05. 22.

Ethics and Social Impacts of AI인용 수 11

한 줄 요약

이 논문은 고위험 도메인에서 ChatGPT의 공정성을 체계적으로 평가하며(교육, 범죄학, 금융, 건강관리), 편향된 프롬프트와 비편향 프롬프트 하에서 그룹 및 개인 공정성을 분석하고 소형 기준선과 비교한다.

ABSTRACT

Understanding and addressing unfairness in LLMs are crucial for responsible AI deployment. However, there is a limited number of quantitative analyses and in-depth studies regarding fairness evaluations in LLMs, especially when applying LLMs to high-stakes fields. This work aims to fill this gap by providing a systematic evaluation of the effectiveness and fairness of LLMs using ChatGPT as a study case. We focus on assessing ChatGPT's performance in high-takes fields including education, criminology, finance and healthcare. To conduct a thorough evaluation, we consider both group fairness and individual fairness metrics. We also observe the disparities in ChatGPT's outputs under a set of biased or unbiased prompts. This work contributes to a deeper understanding of LLMs' fairness performance, facilitates bias mitigation and fosters the development of responsible AI systems.

연구 동기 및 목표

• 교육, 범죄학, 금융, 건강관리의 네 가지 데이터 세트를 사용하여 고위험 도메인에서 ChatGPT의 공정성과 효과를 평가한다.
• 그룹 공정성(예: 동등한 기회, 인구통계학적 동등성)을 평가한다.
• 맥락 내 프롬프트의 편향 여부에 대한 모델의 민감도와 출력에 미치는 영향을 조사한다.
• 동일한 작업에서 ChatGPT와 작은 기준 모델(로지스틱 회귀, MLP)을 비교한다.
• 편향 완화와 책임 있는 AI 배치를 지원하기 위한 데이터, 프롬프트 및 결과를 제공한다.

제안 방법

• 네 가지 표준 공정성 데이터 세트 사용: PISA(교육), COMPAS(범죄학), German Credit(금융), Heart Disease(건강관리).
• 작은 기준 모델(로지스틱 회귀, MLP)을 학습하고 0-온도 프롬프트에서 ChatGPT(gpt-3.5-turbo)와 비교한다.
• 맥락 내 예시를 포함한 편향 없는 네 가지 및 편향된 네 가지의 여덟 가지 프롬프트를 설계하여 프롬프트 민감도를 테스트한다.
• 정확도, F1, AUC(효과성)와 그룹 수준(SP, TPR, FPR, ACC, F1, AUC) 및 반사실적(CR) 공정성 지표로 평가한다.
• 민감한 특성을 뒤집어 개별 공정성을 평가하는 반사실 테스트 세트를 구성한다.

실험 결과

연구 질문

• RQ1 정확도와 공정성 측면에서 ChatGPT가 소형 모델과 비교하여 고위험 작업에서 얼마나 성능을 보이나?
• RQ2 ChatGPT를 사용할 때 성별 및 인종 그룹 간 그룹 공정성 동작은 어떠한가(예: SP, TPR, FPR)?
• RQ3 편향된 프롬프트와 편향되지 않은 프롬프트에 대해 ChatGPT가 산출물과 공정성 지표 측면에서 어떻게 반응하는가?
• RQ4 이 도메인에서 ChatGPT가 어느 정도 반사실적 공정성을 보이는가?

주요 결과

• ChatGPT는 PISA, COMPAS, Heart Disease에서 전반적 효과성 면에서 소형 모델과 대등하나 German Credit에서는 저성능을 보인다.
• ChatGPT는 일반적으로 소형 모델보다 더 나은 그룹 공정성을 보이나 데이터 세트 전반에서 개인 공정성의 공백이 두드러진다.
• 편향된 프롬프트는 공정성 결과를 악화시키는 경향이 있으며, 편향되지 않은 프롬프트가 더 나은 성능을 보이는 경향이 있지만 데이터 세트별로 추세가 다르다.
• 프롬프트의 반사실 예시는 일관되게 공정성을 향상시키지 않으며 때로는 효율성을 떨어뜨린다.
• 프롬프트 설계가 출력에 큰 영향을 미치므로 편향 완화를 위한 신중한 프롬프트 엔지니어링의 필요성을 강조한다.