[論文レビュー] Balancing out Bias: Achieving Fairness Through Training Reweighting.

Xudong Han, Timothy Baldwin+1 more|arXiv (Cornell University)|Sep 16, 2021

Topic Modeling参考文献 35被引用数 9

ひとこと要約

本論文は、タスクラベルと著者人口統計的属性の頻度に基づくインスタンス再重み付けと、人口統計的入力を用いてデバイアス予測を生成するゲート付きモデルを組み合わせた、シンプルでありながら効果的なバイアス緩和手法を提案している。このアプローチは、著者の人口統計的属性と言語的特徴の間の相関を直接的に取り扱うことで、少数派グループにおける誤差率の差を顕著に低減し、既存の手法を上回る性能を発揮する。

ABSTRACT

Bias in natural language processing arises primarily from models learning characteristics of the author such as gender and race when modelling tasks such as sentiment and syntactic parsing. This problem manifests as disparities in error rates across author demographics, typically disadvantaging minority groups. Existing methods for mitigating and measuring bias do not directly account for correlations between author demographics and linguistic variables. Moreover, evaluation of bias has been inconsistent in previous work, in terms of dataset balance and evaluation methods. This paper introduces a very simple but highly effective method for countering bias using instance reweighting, based on the frequency of both task labels and author demographics. We extend the method in the form of a gated model which incorporates the author demographic as an input, and show that while it is highly vulnerable to input data bias, it provides debiased predictions through demographic input perturbation, and outperforms all other bias mitigation techniques when combined with instance reweighting.

研究の動機と目的

• 著者の人口統計的属性（例：性別、人種）と言語的パターンの間の相関に起因するNLPモデルのバイアスを是正すること。
• 既存のバイアス緩和および評価手法の限界を克服すること。これらはしばしば人口統計的・言語的相関を無視しており、データセットのバランスや評価プロトコルにおいて一貫性に欠ける。
• タスクラベルと著者の人口統計的属性に基づいて訓練インスタンスを再重み付けすることで、バイアスを直接的に緩和する手法を開発すること。
• 少数派のグループ、特に代表が不足しているマイノリティにおいて、誤差率の差を低減する効果を評価すること。
• バイアスのあるデータで学習された場合でも、人種統計的入力の摂動を用いたゲート付きモデルがデバイアス予測を生成できることを示すこと。

提案手法

• 各訓練サンプルに、そのタスクラベルの頻度と関連する著者の人口統計的属性グループの頻度に基づいた重みを割り当てるインスタンス再重み付けを用いる。
• 再重み付けにより、訓練データにおける代表が不足している人口統計的グループの寄与度がバランスされ、モデルのメジャリティグループ指向バイアスが軽減される。
• 入力系列と著者の人口統計的属性を入力として受け取るゲート付きモデルを導入し、予測を人口統計的文脈に条件づける。
• 再重み付けされたインスタンスで学習し、人口統計的特徴に対する入力摂動を用いてデバイアス予測を生成することで、推論時に公平性を効果的にシミュレートする。
• 従来の手法がしばしば無視する、著者の人口統計的属性と言語変数の間の相関を明示的にモデル化する。
• この手法はシンプルで効果的であり、最小限のアーキテクチャ的変更で、公平性指標を顕著に改善できる。

実験結果

リサーチクエスチョン

• RQ1 タスクラベルと著者の人口統計的属性の両方に基づく再重み付けは、NLPモデルにおけるバイアス緩和にどのように影響するか？
• RQ2 人口統計的入力を備えたゲート付きモデルは、人口統計的グループ間の誤差率差をどの程度低減できるか？
• RQ3 インスタンス再重み付けと人口統計的入力摂動の組み合わせは、既存のバイアス緩和手法と比較して、公平性とパフォーマンスの両面でどのように異なるか？
• RQ4 人口統計的・言語的相関を無視すると、バイアス評価および緩和にどのような影響が生じるか？
• RQ5 シンプルでモジュール的なアプローチが、精度を損なわせることなく最先端の公平性を達成できるか？

主な発見

• 提案された再重み付け手法は、ラベルと人口統計的頻度に基づいて訓練インスタンスの重みを調整することで、人口統計的グループ間の誤差率差を顕著に低減する。
• 人口統計的入力摂動を用いたゲート付きモデルは、訓練データに強い人口統計的バイアスが存在する場合でも、デバイアス予測を生成する。
• インスタンス再重み付けと組み合わせた場合、この手法は公平性指標において、他のあらゆるバイアス緩和手法を上回る。
• 従来の手法がしばしば無視する、著者の人口統計的属性と言語的変数の相関を効果的に扱っている。
• 主なNLPタスクにおける性能は競争力を持ち続けながら、優れた公平性を達成しており、バイアス緩和が精度を犠牲にすることを必要としないことを示している。