[論文レビュー] In-Contextual Gender Bias Suppression for Large Language Models

Daisuke Oba, Masahiro Kaneko+1 more|arXiv (Cornell University)|Sep 13, 2023

Text Readability and SimplificationComputer Science被引用数 3

ひとこと要約

本稿では、モデルパラメータやデコード干渉へのアクセスが不要なプロンプトベースの方法として、バイアス抑制を提案する。適切に設計されたテキストプリアンブル（反事実的文および職業記述文）を用いることで、2つのオープンソースLLMにおいて性別バイアスを効果的に抑制し、下流タスクの性能劣化を最小限に抑え、COPAでは最大5%、HellaSwagでは2–3%の精度低下にとどめる。

ABSTRACT

Despite their impressive performance in a wide range of NLP tasks, Large Language Models (LLMs) have been reported to encode worrying-levels of gender biases. Prior work has proposed debiasing methods that require human labelled examples, data augmentation and fine-tuning of LLMs, which are computationally costly. Moreover, one might not even have access to the model parameters for performing debiasing such as in the case of closed LLMs such as GPT-4. To address this challenge, we propose bias suppression that prevents biased generations of LLMs by simply providing textual preambles constructed from manually designed templates and real-world statistics, without accessing to model parameters. We show that, using CrowsPairs dataset, our textual preambles covering counterfactual statements can suppress gender biases in English LLMs such as LLaMA2. Moreover, we find that gender-neutral descriptions of gender-biased objects can also suppress their gender biases. Moreover, we show that bias suppression has acceptable adverse effect on downstream task performance with HellaSwag and COPA.

研究の動機と目的

• ファインチューニングやデコード干渉が不可能な閉鎖型またはAPIアクセス可能なLLMにおける性別バイアス低減の課題に対処すること。
• モデル提供者に依存せずに、エンドユーザーが独自にバイアスを抑制できる方法を開発すること。
• LLMにおける性別バイアスを効果的に低減しつつ、下流タスクの性能に悪影響を最小限に抑えること。
• 反事実的プリアンブルと記述的プリアンブルの種類が、バイアス抑制およびモデル性能に与える影響を調査すること。
• 一般用途LLMに適用可能かどうか、バイアス抑制がその広範な有用性を損なわないかを検討すること。

提案手法

• 性別ステレオタイプに反する文を含むテンプレートを用いて、CF-* プリアンブルを設計する。例：「男性であるにもかかわらず、{male-name}は{female-job}となった」。
• 職業をジェンダー中立的に記述するDesc-* プリアンブルを生成する。長さの影響を評価するため、3語または7語の記述を用いる。
• プリアンブルの語数をタイプ間でバランスさせ、モデルの注視に長さによるバイアスが生じないよう配慮する。
• Crows-Pairsベンチマーク上で相対バイアススコア（RBS）を用いて、性別バイアス抑制を定量的に測定する。
• COPAおよびHellaSwagでの下流性能を、パープレキシティに基づく最良のプリアンブルペア選択によって評価する。
• 標準的な自然言語処理ベンチマークを用いて、OpenLLaMA-7BおよびMPT-7Bという2つのオープンソースLLMにこの手法を適用し、バイアスおよびタスク性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 モデルパラメータへのアクセスがなくても、文脈内テキストプリアンブルがLLMにおける性別バイアスを効果的に抑制できるか？
• RQ2 反事実的プリアンブル（CF-*）と記述的プリアンブル（Desc-*）は、バイアス抑制においてどのように比較されるか？
• RQ3 プリアンブルの長さとタイプは、一般的な推論ベンチマークにおける下流タスク性能にどのような影響を及えるか？
• RQ4 プリアンブルによるバイアス抑制は、COPA や HellaSwag といった標準NLPタスクで顕著な性能劣化を引き起こすか？
• RQ5 この手法は、二元的性別バイアスを超えた他のタイプの社会的バイアスに対しても一般化可能か？

主な発見

• CF-* および Desc-* プリアンブルは、相対バイアススコア（RBS）を用いた測定において、OpenLLaMA-7BおよびMPT-7Bの両方で性別バイアスを顕著に抑制した。
• 本手法はCOPAベンチマークで最大5%、HellaSwagでは2–3%の性能低下にとどまり、下流タスクへの悪影響は最小限である。
• 驚くべきことに、CF-detailed プリアンブルはHellaSwagにおいて、プリアンブルなし（nc）のベースラインを上回ることもあった。これは特定の文脈で性能向上が見られる可能性を示唆している。
• プリアンブルタイプやプリアンブル数の違いに顕著な性能差は観察されず、手法の堅牢性と一貫性が裏付けられた。
• OpenLLaMA-7BおよびMPT-7Bという異なるLLMアーキテクチャにおいても、本手法は有効であるため、広範な適用可能性を示している。
• 小規模モデルに対しても、CF-detailed プリアンブルが明確な文脈を提供することで推論の信頼性が向上するなど、低リソース環境でも有効である。