[論文レビュー] FairPy: A Toolkit for Evaluation of Prediction Biases and their Mitigation in Large Language Models

Hrishikesh Viswanath, Tianyi Zhang|arXiv (Cornell University)|Feb 10, 2023

Ethics and Social Impacts of AI被引用数 6

ひとこと要約

FairPy は、大規模言語モデルにおけるバイアス検出と緩和手法を分離する Python ツールキットであり、BERT や GPT-2 などのモデルに対して標準化されたメトリクスを用いて、フェアネスのプラグアンドプレイ評価を可能にする。カスタムモデル統合、微調整とポストプロセッシングによるデバイアス化、および実証的結果（例：GPT-2 におけるジェンダー・バイアスの低減、WEAT スコアが 1.15 から 0.8 に低下）を提供する。一方で、モデル互換性に一貫性の欠如が指摘されている。

ABSTRACT

Recent studies have demonstrated that large pretrained language models (LLMs) such as BERT and GPT-2 exhibit biases in token prediction, often inherited from the data distributions present in their training corpora. In response, a number of mathematical frameworks have been proposed to quantify, identify, and mitigate these the likelihood of biased token predictions. In this paper, we present a comprehensive survey of such techniques tailored towards widely used LLMs such as BERT, GPT-2, etc. We additionally introduce Fairpy, a modular and extensible toolkit that provides plug-and-play interfaces for integrating these mathematical tools, enabling users to evaluate both pretrained and custom language models. Fairpy supports the implementation of existing debiasing algorithms. The toolkit is open-source and publicly available at: \href{https://github.com/HrishikeshVish/Fairpy}{https://github.com/HrishikeshVish/Fairpy}

研究の動機と目的

• 異なるモデルや社会的グループにわたる大規模言語モデルにおける社会的バイアスの評価・緩和のためのアクセス可能で汎用的なツールの不足に対処すること。
• 特定のモデルや社会的文脈に依存しないバイアス検出および緩和手法の分離を図り、より広範な再利用性と拡張性を実現すること。
• Hugging Face モデルおよびカスタムモデルとの統合を可能にする、一元化されたオープンソースの Python インターフェースを提供すること。
• 主な事前学習モデルを対象に、さまざまなバイアス検出および緩和手法の有効性を実証的に分析すること。
• 特にマスクドテンプレートに依存するメトリクスが、GPT-2 のような自己回帰的（因果的）モデルに適用される際の、互換性の問題を同定すること。

提案手法

• ツールキットは、バイアス検出メトリクスと緩和手法を特定の言語モデルから分離するモジュラーなアーキテクチャを実装しており、プラグアンドプレイ統合を可能にする。
• 複数のバイアス検出手法をサポート：語彙埋め込み類似度（例：WEAT）、ステレオタイプ予測スコア（例：StereoSet）、確率的発散測度（例：ヘルンダーサー距離）。
• 緩和のためには、ドロップアウト正則化による微調整、条件付きプロンプティングによるセルフデバイアス化、埋め込みへのヌル空間プロジェクションを実装。
• セルフデバイアス化法は、条件付きテンプレートを用いて、学習された注意重み付き補正により、バイアスの強い語の確率を低減する：$ p_M(w|x) = \alpha(\Delta(w,x,y)) \cdot p_M(w|x) $。
• 各社会的グループの評価を可能にするために、事前に分割済みのデータセット（例：CrowS、StereoSet）を含んでおり、実行時間の短縮と精度向上を実現。
• モデル固有の埋め込みレイヤー名や表現の違いに対応する一元化インターフェースを提供することで、モデル間の互換性を向上。

Figure 1: The flow diagram highlights the overall architecture of the model, with the nodes labelled in red denoting the bias detection techniques and the nodes in green highlighting the bias mitigation techniques

実験結果

リサーチクエスチョン

• RQ1 BERT や GPT-2 などの異なる事前学習言語モデルにわたって、最も効果的で一般化可能なバイアス検出メトリクスは何か？
• RQ2 特にドロップアウト正則化による微調整とセルフデバイアス化といった、さまざまなデバイアス化手法が、大規模言語モデルにおけるジェンダーおよびステレオタイプバイアスにどのように影響を与えるか？
• RQ3 マスクドテンプレートに依存するテンプレートベースのバイアス検出手法（例：マスクドテンプレート）を自己回帰的モデル（例：GPT-2）に適用する際の主な互換性上の課題は何か？
• RQ4 モデル固有のトークン化や埋め込みレイヤー構造の違いによって、既存のメトリクスがどれほど失敗するのか？
• RQ5 人種やジェンダーなどの社会的グループごとの評価（例：レース、ジェンダー）は、バイアス測定の精度と効率をどの程度向上させるか？

主な発見

• GPT-2 ではドロップアウト正則化による微調整の結果、ジェンダー・バイアスが顕著に低減し、WEAT スコアが 1.15（バイアスあり）から 0.80（デバイアス済み）に低下した。これは、語彙埋め込みにおけるジェンダー関連性の低減を示している。
• WEAT スコアが低下したにもかかわらず、GPT-2 の StereoSet スコアは 47.91 から 58.4 に上昇した。これは、ステレオタイプ的予測の頻度が高くなったことを示しており、緩和に伴う潜在的なトレードオフを示唆している。
• BERT でもデバイアス化の結果、WEAT スコアが 1.13 から 0.68 に低下し、ジェンダー・バイアスが減少した。ただし F1 スコアは 65.6 から 64.4 にわずかに低下した。
• ツールキットは、StereoSet および CrowS データセットのグループ別評価を成功裏に実現し、社会的カテゴリーごとにデータを分割することで、実行時間の短縮と精度向上を達成した。
• ツールキットは、GPT-2 がトークン化および埋め込みレイヤー構造の違いにより StereoSet スコアを計算できないという、モデル固有の互換性の欠陥を同定した。
• ドロップアウト正則化による微調整で、GPT-2 のヘルンダーサー距離は 0.14 から 0.35 に上昇した。これは予測分布の発散が増加したことを示唆しているが、モデルの不安定性やメトリクスの感受性による可能性もある。