[論文レビュー] Interpreting Bias in Large Language Models: A Feature-Based Approach

Nirmalendu Prakash, L. Roy|arXiv (Cornell University)|Jun 18, 2024

Computational and Text Analysis Methods被引用数 4

ひとこと要約

本稿では、LLaMA-2-7B、LLaMA-3-8B、Mistral-7B-v0.3 などの大規模言語モデル（LLM）における性別バイアスを分析および軽減するための特徴ベースの解釈フレームワークを提案する。モデル層を通過するバイアス関連特徴の進化を仮説化し、活性化パッチ処理およびアトリビューションパッチ処理による検証を通じて、バイアス伝搬の責任を負う特定のMLPおよびアテンションヘッドを同定した。逆説的微調整を用いた標的化されたデバイアス化により、全体の性能を損なわせることなく、バイアスの強い出力を顕著に低減することを示した。

ABSTRACT

Large Language Models (LLMs) such as Mistral and LLaMA have showcased remarkable performance across various natural language processing (NLP) tasks. Despite their success, these models inherit social biases from the diverse datasets on which they are trained. This paper investigates the propagation of biases within LLMs through a novel feature-based analytical approach. Drawing inspiration from causal mediation analysis, we hypothesize the evolution of bias-related features and validate them using interpretability techniques like activation and attribution patching. Our contributions are threefold: (1) We introduce and empirically validate a feature-based method for bias analysis in LLMs, applied to LLaMA-2-7B, LLaMA-3-8B, and Mistral-7B-v0.3 with templates from a professions dataset. (2) We extend our method to another form of gender bias, demonstrating its generalizability. (3) We differentiate the roles of MLPs and attention heads in bias propagation and implement targeted debiasing using a counterfactual dataset. Our findings reveal the complex nature of bias in LLMs and emphasize the necessity for tailored debiasing strategies, offering a deeper understanding of bias mechanisms and pathways for effective mitigation.

研究の動機と目的

• バイアスの伝播経路を解釈するための特徴ベースの手法を開発し、一般化されたコンponent分析を超えること。
• 特にMLPおよびアテンションヘッドを含む特定のモデルコンponentsが、性別バイアスの生成および複製に果たす役割を検証すること。
• 逆説的データセットを用いて同定されたコンponentsでのみ微調整を施すことで、標的化されたデバイアス化の有効性を示すこと。
• 異なる形態の性別バイアスおよび文構造へも一般化可能であることを証明し、文脈を超えた汎用性を示すこと。
• 大規模LLMにおけるバイアスの発生源および伝播経路を特定するためのホワイトボックスで解釈可能なフレームワークを提供すること。

提案手法

• 著者らは、'male'、'female'、'wife' などの抽象的なバイアス関連特徴（例：'woman'）を、モデル層を通過する際に進化する潜在的概念として定義し、入力から出力への '特徴マップ' を構築する。
• 因果メディエーションに類似した仮説を用い、'Washing the dishes is the duty of the' といった入力プロンプトから 'woman' や 'wife' といった特徴がどのように生成されるかをマッピングする。
• 活性化パッチ処理を適用し、特定の層やコンponents（例：MLP、アテンションヘッド）の寄与度を、リファレンス入力からの活性化を置き換えることで隔離する。
• アトリビューションパッチ処理を用いて、バイアス特徴をコピーまたは増幅するアテンションヘッドを同定し、論理的逆転（logit reversal）を検証信号として用いる。
• 同定されたコンponents（例：特定のMLPおよびアテンションヘッド）に限定して逆説的微調整を施し、バイアスを低減しながらもモデル性能を維持する。
• 本手法は、職業データセットからのテンプレートを用いて、3つの最先端LLM（LLaMA-2-7B、LLaMA-3-8B、Mistral-7B-v0.3）において検証された。

Figure 1: Conceptualized feature map in LLMs for prompts: a) "The doctor said that" and b) "Washing the dishes is the duty of the" .

実験結果

リサーチクエスチョン

• RQ1 どの特定のモデルコンponents（MLPまたはアテンションヘッド）がLLMにおける性別バイアスの生成または増幅に責任を負っているか？
• RQ2 性別バイアス関連特徴（例：'wife' や 'man'）は、トランスフォーマー基盤LLMの層を通過する際にどのように進化するか？
• RQ3 同定されたコンponentsに対して逆説的微調整を施すことで、標的化されたデバイアス化が、性能を損なわずバイアスの強い出力を効果的に低減できるか？
• RQ4 提示された特徴ベースの手法は、元の職業データセットを超えたさまざまな形態の性別バイアスへ一般化可能か？
• RQ5 アテンションヘッドがどれほどバイアス特徴をコピーまたは伝搬しているか、そしてアトリビューションパッチ処理を用いて定量的に測定可能か？

主な発見

• 特徴マップ分析により、'wife' 特徴は主に 'woman' 特徴と文法的構造の組み合わせから派生し、最終的な抽象化は最後のトークンのMLPで行われることが判明した。
• 層4から15にわたり、最後のトークンのMLP活性化をパッチ処理したところ、'wife' が上位10出力に現れるようになり、その特徴抽出における重要性が確認された。
• 特に 'dishes' トークンからのコピー型アテンションヘッド（k=100、層20まで）が、バイアス伝搬に顕著に寄与していることが判明。パッチ処理による論理的逆転によりその寄与度が裏付けられた。
• 同定されたコンポーネントに対して逆説的微調整を施した標的化デバイアス化により、ステレオタイプ的文脈における 'woman' および 'wife' の出現確率が低下し、効果的な緩和が達成された。
• 本手法は、元のデータセットを超えた異なる文構造および性別バイアスの形態に対しても、効果的にバイアスを分析・低減できることを示し、一般化可能性を裏付けた。
• 機械的解釈可能性の観点から、一部のヘッドがパッチ処理されたヘッドの役割を補完する可能性があると観察され、デバイアスドモデルにおけるさらなる検証の必要性が示唆された。

Figure 3: (a) Fraction of samples where logit is reversed vs MLP layers patched (b) Fraction of samples where logit is reversed vs top K value.