[論文レビュー] "Im not Racist but...": Discovering Bias in the Internal Knowledge of Large Language Models

Abel Salinas, Louis Penafiel+2 more|arXiv (Cornell University)|Oct 13, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

この論文は、GPT-3を含む大規模言語モデル（LLM）の内部知識に隠れたステレオタイプを自動で発見・可視化する、プロンプト駆動型で知識グラフに依存する手法を提案する。バイアス関連の関連性を持つ構造的表現を動的に生成することで、LLMが民族性や社会的グループを温かさと能力の次元でどのように関連付けるかに系統的な不均衡が生じていることを特定し、静的テンプレートに依存せずに、モデルの知識に根付いた社会的バイアスを露呈する。

ABSTRACT

Large language models (LLMs) have garnered significant attention for their remarkable performance in a continuously expanding set of natural language processing tasks. However, these models have been shown to harbor inherent societal biases, or stereotypes, which can adversely affect their performance in their many downstream applications. In this paper, we introduce a novel, purely prompt-based approach to uncover hidden stereotypes within any arbitrary LLM. Our approach dynamically generates a knowledge representation of internal stereotypes, enabling the identification of biases encoded within the LLM's internal knowledge. By illuminating the biases present in LLMs and offering a systematic methodology for their analysis, our work contributes to advancing transparency and promoting fairness in natural language processing systems.

研究の動機と目的

• 手作業で作成されたテンプレートに依存しない柔軟でスケーラブルなLLMバイアス検出手法の不足に対処すること。
• 社会的グループと温かさや能力といった評価的特徴の間の関連性を抽出・構造化することで、LLMに埋め込まれたステレオタイプ的知識をマップすること。
• 任意のLLMの内部知識ベースにおけるバイアスを体系的かつ自動的に特定・可視化するフレームワークを提供すること。グループの種別（例：人種、性別、国籍）にかかわらず対応可能である。
• 実務家が展開前に潜在的なバイアスを評価できるようにし、NLPシステムの透明性と公平性を向上させること。
• 内部のステレオタイプが下流のモデル行動にどのように伝搬されるかを今後の分析の基盤とすること。

提案手法

• Cohenら（2023）の研究にインspiredされたプロンプト駆動型アプローチを採用し、LLMに対して社会的グループと評価的特徴の間の関連性を動的に抽出する。
• 人種的・文化的背景（例：国籍、民族）の初期セットを用いて、'Xの人はしばしば〜と見なされる' や 'Xは一般的に〜と関連づけられる' といったプロンプトを生成し、ステレオタイプ的関連性を引き出す。
• モデルの出力を解析し、ノードがグループや特徴を表し、エッジが関連の強さや確率を表す知識グラフに構造化する。
• 知識グラフを分析することで、温かさと能力の次元における、異なるグループのステレオタイプ的表現のパターンを同定する。
• GPT-3にこの手法を適用し、国籍や社会的カテゴリーごとのバイアス分布の可視化と定量的比較を可能にする。
• 外部モデルを用いて抽出された関連性の意味的妥当性を評価するが、これにより補助モデルからのバイアスが発生する可能性がある。

(a) Ethnicity

実験結果

リサーチクエスチョン

• RQ1 GPT-3のような大規模言語モデルの内部知識に、どのようなステレオタイプや先入観がエンコードされているのか？
• RQ2 温かさや能力といった特徴と社会的グループとの関連性は、異なる国籍や文化的カテゴリーにおいてどのように変化するのか？
• RQ3 静的で手作業で作成されたテンプレートに依存しないプロンプト駆動型の知識グラフ生成アプローチが、どの程度バイアスを特定できるのか？
• RQ4 グループごとに、能力関連の特徴と温かさ関連の特徴におけるステレオタイプ関連知識の分布は、どのように異なるのか？
• RQ5 この手法は、マイノリティ化されたり、歴史的に差別を受けてきたグループがLLMの知識にどのように表現されているかの系統的な不均衡を検出・可視化できるか？

主な発見

• この手法は、『ロシア人』が能力に関連づけられる割合が著しく高く、温かさに関連づけられる割合が最も低いことから、能力過剰関連バイアスが顕在化していることを示した。
• 国籍が能力関連の特徴よりも温かさ関連の特徴と関連づけられる頻度が高いため、ステレオタイプ的表現に系統的な不均衡が存在することが明確に浮き彫りになった。
• 一部の国籍と否定的特徴の強い関連性がモデルで強く示された——例として『中国人』は知識グラフで頻繁に『ステレオタイプ的』または『否定的』な記述と関連づけられ、トレーニングデータに存在する歴史的バイアスを反映していた。
• 知識グラフは、大多数の国が温かさと能力の両方と関連づけられているが、その関連の強度は顕著に異なることが判明した。一部のグループは著しく高いスコア、あるいは低いスコアを示した。
• このアプローチは、LLMの内部知識がトレーニングデータに存在する社会的バイアスを反映していることを確認した。具体的には、特定の国籍が高能力職に過剰に代表されており、温かさ関連の役割では過小代表されている。
• モデルの知識ベースにステレオタイプが存在することは、それが生成プロセスで実際に使用されるとは限らないが、その知識の存在自体が下流のバイアス伝搬のリスクを生じさせることを確認した。

(b) Gender Identity