[論文レビュー] Prompting Fairness: Integrating Causality to Debias Large Language Models

Jingling Li, Zeyu Tang+5 more|arXiv (Cornell University)|Mar 13, 2024

Legal Education and Practice Innovations被引用数 6

ひとこと要約

本論文は、データ生成と推論過程の因果性を活用して、偏った推論を抑制し偏見のない推論を促すプロンプトを設計する因果性ガイド型のデバイアス除去フレームワークを提案し、ブラックボックスアクセス下でWinoBiasとDiscrim-Evalにおいて強力な実証的デバイアス除去を達成する。

ABSTRACT

Large language models (LLMs), despite their remarkable capabilities, are susceptible to generating biased and discriminatory responses. As LLMs increasingly influence high-stakes decision-making (e.g., hiring and healthcare), mitigating these biases becomes critical. In this work, we propose a causality-guided debiasing framework to tackle social biases, aiming to reduce the objectionable dependence between LLMs' decisions and the social information in the input. Our framework introduces a novel perspective to identify how social information can affect an LLM's decision through different causal pathways. Leveraging these causal insights, we outline principled prompting strategies that regulate these pathways through selection mechanisms. This framework not only unifies existing prompting-based debiasing techniques, but also opens up new directions for reducing bias by encouraging the model to prioritize fact-based reasoning over reliance on biased social cues. We validate our framework through extensive experiments on real-world datasets across multiple domains, demonstrating its effectiveness in debiasing LLM decisions, even with only black-box access to the model.

研究の動機と目的

• 選択機構を介して人口統計情報が偏った推論を引き起こす可能性を分析し、LLM出力の社会的偏見をモデル化・緩和する。
• データ生成とモデル推論の因果モデルに基づく体系的なプロンプト設計フレームワークを開発する。
• 抑制的および対比的な既存のデバイアス除去プロンプトを因果的デバイアス戦略のもとで統合し、閉鎖アクセスモデルとオープンアクセスモデルの両方で評価する。
• ブラックボックスアクセスのみでLLMのデバイアス除去に関する経験的に堅牢な指針を提供する。

提案手法

• トレーニングデータ生成過程の因果モデルを構築し、人口統計情報が偏った出力とどう関連付けられるかを特定する。
• LLM推論の因果モデルを構築し、それをプロンプトによって調整される選択メカニズムを介してデータ生成モデルと結びつける。
• 内部表現と選択経路に条件を課して出力をデバイアスする3つのプロンプト戦略（戦略I–III）を提案する。
• 人口統計に依存しない事実へと導くため、プロンプト設計が満たすべき条件を形式化する。
• WinoBiasとDiscrim-Evalでデバイアス戦略を経験的に評価し、ベースライン（Default、対比的例を用いたICL、Zero-shot COT）と比較する。
• 偏見のない推論を促進し、偏った推論を抑制する組み合わせが、ベースラインよりも強力なデバイアス除去をもたらすことを示す。

実験結果

リサーチクエスチョン

• RQ1 データ生成とLLM推論の因果モデルは、出力における人口統計的バイアスの出現をどのように説明できるか。
• RQ2 ブラックボックスアクセス下で、LLMの選択機構を制御してバイアスを低減するようなプロンプト設計は作成できるか。
• RQ3 偏見のない推論を促進し、または偏見の推論を抑制する戦略は、伝統的なプロンプトベースのベースラインを上回るか。
• RQ4 コアリファレンスタスクと実世界データセットにおける性別バイアスに対する因果性誘導デバイアス除去の経験的影響は何か。

主な発見

• 偏見のない推論を促進し、偏った推論を抑制するプロンプトは、WinoBiasでの性別バイアスを大幅に低減し、肯定文と否定文の間の大きなギャップを含む。
• Reduce + Factの組み合わせアプローチが最小のバイアスギャップを達成し、特定の設定でType I coreferenceタスクのギャップが2.17%、Type IIが0.13%をGPT-4で示す。
• Discrim-Evalでは、プロンプト戦略が全 Demographics で差別を普遍的に低減し、能力の高いモデルほどバイアスギャップの低減を示す。
• 本フレームワークは、既存のプロンプティングベースのデバイアス除去手法を、提案された因果的プロンプト設計戦略の事例として解釈することにより統一する。
• ブラックボックスアクセスでも結果が成立し、クローズドソースLLMの実用的適用性を示している。