[論文レビュー] Intersectional Bias in Causal Language Models

Liam Magee, Lida Ghahremanlou+2 more|arXiv (Cornell University)|Jul 16, 2021

Topic Modeling参考文献 47被引用数 13

ひとこと要約

本稿は、GPT-2およびGPT-NEOの因果的言語モデルにおける交差的バイアスを、性別、宗教、障害のカテゴリーを組み合わせたプロンプトからテキストを生成し、感情分析を行うことで調査する。バイアスは単一カテゴリーおよび交差カテゴリーの両方で持続しており、モデルサイズやコンテキストにかかわらず抵抗性を示し、予測不能で加法的でない形で現れる。これは、単一カテゴリーのアプローチを超えた、的を射た緩和戦略の必要性を示唆する。

ABSTRACT

To examine whether intersectional bias can be observed in language generation, we examine \emph{GPT-2} and \emph{GPT-NEO} models, ranging in size from 124 million to ~2.7 billion parameters. We conduct an experiment combining up to three social categories - gender, religion and disability - into unconditional or zero-shot prompts used to generate sentences that are then analysed for sentiment. Our results confirm earlier tests conducted with auto-regressive causal models, including the \emph{GPT} family of models. We also illustrate why bias may be resistant to techniques that target single categories (e.g. gender, religion and race), as it can also manifest, in often subtle ways, in texts prompted by concatenated social categories. To address these difficulties, we suggest technical and community-based approaches need to combine to acknowledge and address complex and intersectional language model bias.

研究の動機と目的

• 複数の社会的カテゴリー（性別、宗教、障害）をプロンプトに組み合わせた場合に、因果的言語モデルに交差的バイアスが生じるかどうかを調査すること。
• これらのモデルにおけるバイアスが、モデルサイズの増加および訓練データの多様性の向上に対しても抵抗性を示すかどうかを評価すること。
• 社会的アイデンティティの交差が複雑に絡む状況において、単一カテゴリーのバイアス緩和技術が効果を発揮するかどうかを評価すること。
• 自然言語処理システムにおける複雑な交差的バイアスを検出・是正するための技術的およびコミュニティベースのアプローチの必要性を検討すること。

提案手法

• 本研究では、パラメータ数が1億2400万から27億にわたるGPT-2およびGPT-NEOモデルを用い、性別、宗教、障害の3つの社会的カテゴリーを最大3つまで組み合わせたゼロショット・アンコンディショナルプロンプトからテキストを生成する。
• 生成されたテキストは自動分類を用いて感情分析され、さまざまな社会的カテゴリーの組み合わせにおけるバイアスの度合いを測定する。
• 単一カテゴリーとその交差カテゴリーの間で感情スコアを比較し、非加法的または質的に異なるバイアスパターンを特定する。
• トピックモデリングを適用して、感情スコアの差を引き起こす可能性のある生成コンテンツの質的変化を検討する。
• プロンプトのバリエーションおよびコンテキストがバイアスの表現に与える影響を評価する。特に、わずかなプロンプトの変更が感情スコアの順位にどのように影響するかを分析する。
• 標準化されたバイアス報告、マジックプロンプト、訓練データのコミュニティによる検証といった技術的およびコミュニティベースの戦略を提言し、公平性の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 複数の社会的カテゴリー（例：障害を有するムスリム女性）の組み合わせが、単一カテゴリーと比較して言語モデル出力の感情にどのように影響するか？
• RQ2 因果的言語モデルにおける交差的バイアスは、モデルサイズおよび訓練データの多様性の向上に対してどの程度抵抗性を示すか？
• RQ3 社会的カテゴリーが複雑に交差する状況において、単一カテゴリーのバイアス緩和戦略が効果的にバイアスを低減できるか？
• RQ4 プロンプトのバリエーションおよびコンテキストは、交差するアイデンティティにおけるバイアスの表現および順位付けにどのように影響するか？
• RQ5 標準化され、コミュニティが関与した手法は、言語モデルにおける交差的バイアスの検出および緩和をどのように改善できるか？

主な発見

• バイアスは性別、宗教、障害のカテゴリーのすべてに一貫して存在しており、宗教および障害カテゴリーでは性別よりも強く、より持続的なバイアスが見られる。
• ムスリムおよびほとんどの障害関連ラベル（「ダウン症を有する」を除く）は、ニュートラルまたは単一カテゴリーのプロンプトと比較して、顕著に低い感情スコアを示す。
• 交差的バイアスは加法的または予測可能なパターンに従わない。一部の組み合わせでは否定的傾向の感情スコアが強化されるが、他の組み合わせでは質的に異なる形での差別的表現が生じる。
• モデルサイズの増大および訓練データの多様性の向上は、交差的バイアスを排除または顕著に低減しない。これは、バイアスがモデルアーキテクチャおよびデータに深く根ざしていることを示唆する。
• わずかなプロンプトの変更ですら、感情スコアの順位付けや全体的なバイアス表現を劇的に変える可能性があり、コンテキストに敏感で予測不能であることを示している。
• 単一カテゴリーのバイアス緩和戦略は、カテゴリーの相互作用が生じる交差的バイアスを適切に緩和するには不十分であり、カテゴリーの相互作用によって生じる独自の非線形バイアスパターンが顕在する。