[論文レビュー] Few-Shot Fairness: Unveiling LLM's Potential for Fairness-Aware Classification

Garima Chhikara, Anurag Sharma+2 more|arXiv (Cornell University)|Feb 28, 2024

Ethics and Social Impacts of AI被引用数 5

ひとこと要約

本論文は、大規模言語モデルがインコンテキスト学習を用いて公平性を意識した分類を達成できるかを、ゼロショットおよび少数ショットの設定で、さまざまな公平性概念を組み込むことで検証する。GPT-4は一般に他のモデルよりも精度と公平性のトレードオフが強い。

ABSTRACT

Employing Large Language Models (LLM) in various downstream applications such as classification is crucial, especially for smaller companies lacking the expertise and resources required for fine-tuning a model. Fairness in LLMs helps ensure inclusivity, equal representation based on factors such as race, gender and promotes responsible AI deployment. As the use of LLMs has become increasingly prevalent, it is essential to assess whether LLMs can generate fair outcomes when subjected to considerations of fairness. In this study, we introduce a framework outlining fairness regulations aligned with various fairness definitions, with each definition being modulated by varying degrees of abstraction. We explore the configuration for in-context learning and the procedure for selecting in-context demonstrations using RAG, while incorporating fairness rules into the process. Experiments conducted with different LLMs indicate that GPT-4 delivers superior results in terms of both accuracy and fairness compared to other models. This work is one of the early attempts to achieve fairness in prediction tasks by utilizing LLMs through in-context learning.

研究の動機と目的

• LLMsが分類タスクにおいて公平性の概念を理解し、適用できるかを評価する。
• 異なる公平性基準の下で、最新の複数のLLM（GPT-4、LLaMA-2、Gemini）を比較する。
• ゼロショットおよび少数ショットのインコンテキスト学習設定における精度と公平性のトレードオフを分析する。
• 公平性を意識したLLM分類のさらなる研究を促進するため、公開可能な予測を提供する。

提案手法

• 7つの確立された公平性概念に加えて8番目のGeneric Fairnessを含む公平性フレームワークを定義する。
• 抽象的なルールA（Rule_A）と詳細なルールD（Rule_D）を用いたインコンテキスト学習で予測を導く。
• ゼロショットおよび少数ショットの設定を評価し、RAG（Retrieved In-Context Demonstrations）を用いて、20件の類似例を選択する場合とそうでない場合の両方を評価する。
• タスク説明、テストインスタンス、公平性piを含む標準化されたプロンプト構造を採用し、UCI Adultデータセット上で正解と出力を比較する。

実験結果

リサーチクエスチョン

• RQ1 LLMsが分類タスクにおいて公平性の概念を理解し、適用できるかを評価する。
• RQ2 どのLLM（GPT-4、LLaMA-2、Gemini）が異なる公平性基準の下で最も高い性能を示すか。
• RQ3 ゼロショットと少数ショットのインコンテキスト学習を用いた公平性を導く分類で、精度と公平性のトレードオフはどうなるか。
• RQ4 取得拡張インコンテキスト学習（RAG）は、ゼロショットプロンプトと比較して公平性と精度を改善するか。
• RQ5 Adultデータセット上で、8つの定義された公平性指標はモデルと設定によってどのように振る舞うか。

主な発見

• GPT-4は、他の競合モデルよりもいくつかの設定で高い精度と公平性スコアを達成する。
• 抽象的なプロンプト（Rule_A）と詳細なプロンプト（Rule_D）を通じて定義された公平性ルールが結果に影響を与え、各指標で測定可能な変化を生む。
• ゼロショットと少数ショットの構成は、モデルと公平性定義によって異なる公平性-精度のトレードオフを生み出す。
• RAGを用いたインコンテキスト例は、少数ショット学習で46,621件のインスタンスからデモを選択するのに使用されている。
• 本研究は、1000件を超えるテストインスタンスに対する公開予測を提供し、将来の研究を支援する。