[論文レビュー] Towards Understanding and Mitigating Social Biases in Language Models

Paul Pu Liang, Chiyu Wu+2 more|arXiv (Cornell University)|Jun 24, 2021

Topic Modeling被引用数 127

ひとこと要約

本論文は言語モデルにおける表現的バイアスの源を形式化し、ベンチマークとAutoregressive INLP (A-INLP) デバイアス手法を提案し、生成品質を保ちながらバイアス緩和を実証する。

ABSTRACT

As machine learning methods are deployed in real-world settings such as healthcare, legal systems, and social science, it is crucial to recognize how they shape social biases and stereotypes in these sensitive decision-making processes. Among such real-world deployments are large-scale pretrained language models (LMs) that can be potentially dangerous in manifesting undesirable representational biases - harmful biases resulting from stereotyping that propagate negative generalizations involving gender, race, religion, and other social constructs. As a step towards improving the fairness of LMs, we carefully define several sources of representational biases before proposing new benchmarks and metrics to measure them. With these tools, we propose steps towards mitigating social biases during text generation. Our empirical results and human evaluation demonstrate effectiveness in mitigating bias while retaining crucial contextual information for high-fidelity text generation, thereby pushing forward the performance-fairness Pareto frontier.

研究の動機と目的

• 言語モデルのテキスト生成における細かい局所的バイアスと高レベルの全体的バイアスを定義する。
• 多様な文脈の下で局所的および全体的バイアスの両方を測定するベンチマークと指標を開発する。
• 事前学習済み言語モデルを再訓練せずに後処理でデバイアスを除去する自己回帰型デバイアス除去法（A-INLP）を提案・評価する。
• スケール可能で文脈依存のデバイアス除去を可能にするため、バイアス感受性のあるトークンを自動的に特定する。
• GPT-2/GPT-2系モデルで高忠実度のテキスト生成を維持しつつバイアス緩和を実証する。

提案手法

• LM出力における局所的（1ステップごとのトークンレベル）バイアスと全体的（文全体）バイアスを識別・分離する。
• 次トークン分布に対する局所的バイアスを定量化するためにf-ダイバージェンス（KLダイバージェンス、ヘリンガー距離）を用いる。
• 生成完了文全体に対して事前学習済みの感情/敬意分類器で全体的バイアスを測定する。
• バイアス定義語ペアから導出された学習済みバイアス部分空間にトークン埋め込みを射影して、バイアス感受性トークンを特定する。
• 文脈埋め込みからバイアス情報を除去するために、nullspace投影を介してAutoregressive INLPを適用する。
• 公平性と性能のバランスを取るために、デバイアス後の出力と元のLM出力を組み合わせる適応デバイアシング重み alpha_t を計算する。

実験結果

リサーチクエスチョン

• RQ1 局所的バイアスと全体的バイアスは言語モデルの生成においてどのように現れるか？
• RQ2 単純なテンプレートを超えた多様な現実的文脈を用いて信頼性の高いバイアスのベンチマークを作成できるか？
• RQ3 事後的な自己回帰デバイアス除去（A-INLP）により再訓練なしでバイアスを緩和でき、言語品質への影響が許容範囲にとどまるか？
• RQ4 文脈豊富な生成において、バイアス感受性トークンを自動的に識別しデバイアス除去を導くためにどう利用できるか？
• RQ5 A-INLPを適用した場合、公平性（バイアス緩和）と言語モデリング性能のトレードオフはどうなるか？

主な発見

• 事前学習済みのLMにはバイアスが存在し、それは局所的および全体的バイアスとして特徴付けられる。
• 多様な文脈を含む分類は、単純なテンプレートで訓練された分類器より現実の文脈へ一般化する。
• A-INLPは局所的および全体的バイアス指標の両方を低減し、言語モデリング性能の損失が限定的で公平性を改善することが多い。
• 適応的な alpha_t 学習（A-INLP tune/learn）は、グローバルな敬意タスクにおいて静的デバイアシングより性能と公平性のバランスを良くする。
• トークンレベルの部分空間デバイアシング（A-subspace）は、追加の性能コストをほとんどかけずに公平性を改善できる。
• 実証的結果は、初期のデバイアシングが公正性を改善し、生成品質への影響を小さく抑えることで、公正性-性能のパレート最適性を押し上げることを示唆する。