[論文レビュー] Fairness of ChatGPT

Yunqi Li, Yongfeng Zhang+1 more|arXiv (Cornell University)|May 22, 2023

Ethics and Social Impacts of AI被引用数 11

ひとこと要約

本論文は、教育、犯罪学、金融、医療という高リスク領域におけるChatGPTの公正性を体系的に評価し、バイアスのあるプロンプトとバイアスのないプロンプトの下でのグループ公正性と個人公正性を分析し、小規模なベースラインと比較している。

ABSTRACT

Understanding and addressing unfairness in LLMs are crucial for responsible AI deployment. However, there is a limited number of quantitative analyses and in-depth studies regarding fairness evaluations in LLMs, especially when applying LLMs to high-stakes fields. This work aims to fill this gap by providing a systematic evaluation of the effectiveness and fairness of LLMs using ChatGPT as a study case. We focus on assessing ChatGPT's performance in high-takes fields including education, criminology, finance and healthcare. To conduct a thorough evaluation, we consider both group fairness and individual fairness metrics. We also observe the disparities in ChatGPT's outputs under a set of biased or unbiased prompts. This work contributes to a deeper understanding of LLMs' fairness performance, facilitates bias mitigation and fosters the development of responsible AI systems.

研究の動機と目的

• ChatGPTの公正性と高リスク領域での有効性を4つのデータセット（教育、犯罪学、金融、医療）を用いて評価する。
• グループ公正性（例：機会均等、デモグラフィック平等）と個人公正性（反事実公正）の双方を評価する。
• biased in-context prompts と unbiased in-context prompts のモデル感度とそれが出力に与える影響を調査する。
• 同一タスクに対してChatGPTを小規模ベースラインモデル（ロジスティック回帰、MLP）と比較する。
• バイアス緩和と責任あるAI展開を支持するデータ、プロンプト、結果を提供する。

提案手法

• 4つの標準的な公正性データセットを使用する：教育はPISA、犯罪学はCOMPAS、金融はGerman Credit、医療はHeart Disease。
• 小規模ベースライン（ロジスティック回帰、MLP）を訓練し、ChatGPT（gpt-3.5-turbo）とゼロ温度プロンプト下で比較する。
• プロンプト感度をテストするため、4つの unbiased、4つの biased のインコンテキスト例を設計する。
• 精度、F1、AUC（有効性）とグループレベル指標（SP、TPR、FPR、ACC、F1、AUC）および反事実公正性（CR）指標で評価する。
• 敏感な特徴を反転させて個別公正性を評価するために反事実テストセットを構築する。

実験結果

リサーチクエスチョン

• RQ1 ChatGPTは小規模モデルと比較して、正確さと公正性の観点で高リスクタスクをどのように達成するか。
• RQ2 ChatGPTを使用した場合、性別や人種グループ間でのグループ公正性の振る舞い（例：SP、TPR、FPR）はどうなるか。
• RQ3 biased プロンプトと unbiased プロンプトでは、出力と公正性指標にどのような影響があるか。
• RQ4 これらの領域でChatGPTは反事実公正性をどの程度示すか。

主な発見

• ChatGPTはPISA、COMPAS、Heart Diseaseの全体的有効性で小規模モデルに匹敵できる一方、German Creditでは劣る。
• ChatGPTは一般的に小規模モデルよりグループ公正性が高いが、データセットを横断して個人公正性のギャップが顕著に現れる。
• biased プロンプトは公正性の結果を悪化させる傾向があり、 unbiased プロンプトはパフォーマンスを改善する傾向があるが、データセットによって傾向が異なる。
• プロンプト内の反事実例は公正性を一貫して改善するとは限らず、時には有効性を低下させる。
• プロンプト設計は出力に大きく影響を与えるため、公平性緩和のためには注意深いプロンプトエンジニアリングが必要である。