[論文レビュー] Detecting Gender Bias in Transformer-based Models: A Case Study on BERT

Bingbing Li, Hongwu Peng+8 more|arXiv (Cornell University)|Oct 15, 2021

Topic Modeling参考文献 19被引用数 11

ひとこと要約

この論文は、性別に関するプロンプトと職業の間の注目スコアを分析することで、BERTにおける性別バイアスを検出する注目マップに基づく新規手法を提案する。その結果、クエリ行列（$\ mathbf{W_q}$）とキー行列（$\ mathbf{W_k}$）が他のモジュールよりも顕著に性別バイアスを導入しており、バイアスがモデル内で周期的に伝播・拡大されることを明らかにした。$\ mathbf{Q}$、$\ mathbf{K}$、$\ mathbf{V}$、および残差接続部でバイアスが拡大される一方、平均化された注目（$\ mathbf{AvgAttention}$）によってバイアスが軽減される。

ABSTRACT

In this paper, we propose a novel gender bias detection method by utilizing attention map for transformer-based models. We 1) give an intuitive gender bias judgement method by comparing the different relation degree between the genders and the occupation according to the attention scores, 2) design a gender bias detector by modifying the attention module, 3) insert the gender bias detector into different positions of the model to present the internal gender bias flow, and 4) draw the consistent gender bias conclusion by scanning the entire Wikipedia, a BERT pretraining dataset. We observe that 1) the attention matrices, Wq and Wk introduce much more gender bias than other modules (including the embedding layer) and 2) the bias degree changes periodically inside of the model (attention matrix Q, K, V, and the remaining part of the attention layer (including the fully-connected layer, the residual connection, and the layer normalization module) enhance the gender bias while the averaged attentions reduces the bias).

研究の動機と目的

• BERTの内部表現に職業に関連する性別バイアスが存在するかどうかを調査すること。
• 位置に基づくバイアスを回避するため、注目マップを用いた性別バイアス検出手法を開発すること。
• 変換器アーキテクチャの異なるコンポーネントを通過する性別バイアスの流れを追跡すること。
• 大規模なウィキペディアベースのデータセットを用いて、レイヤー間でのバイアス分布および強化パターンを分析すること。

提案手法

• 位置効果を排除するために、性別を入れ替えた文のペairを用い、男性・女性の代名詞と職業との間の注目スコアを比較する。
• 性別付き代名詞と職業トークンとの間の注目スコア（$\\mathbf{AS}$）を抽出・比較し、性別傾向値を算出する。
• バイアスの内部流れを追跡するため、モデルの複数の位置（埋め込み層、$\ mathbf{Q}$、$\ mathbf{K}$、$\ mathbf{V}$、$\ mathbf{AvgAttention}$、およびレイヤ出力）にバイアス検出器を挿入する。
• 注目スコア行列（$\\mathbf{AS}$）および平均化された注目（$\ mathbf{AvgAttention}$）は、標準的な変換器の式を用いて導出される：$\\mathbf{AS} = \mathrm{Softmax}(\\frac{\\mathbf{Q\\mathbf{K}^T}}{\sqrt{D_k}})$ および $\\mathbf{AvgAttention} = \\mathbf{AS} \cdot \\mathbf{V}$。
• バイアス度は、男性・女性の代名詞が職業に対して示す注目スコアの差を用いて定量化され、全ウィキペディア事前学習データセットにわたって一貫性が確認された。
• 144個の注目ヘッドおよび12層にわたるバイアス分布および強化確率の統計的分析が、ボックスプロットおよび差分曲線を用いて実施された。

実験結果

リサーチクエスチョン

• RQ1 職業に関連する性別バイアスは、BERTの内部表現、特に注目メカニズム内に出現するか？
• RQ2 注目メカニズムは、異なるレイヤーおよびコンポーネントで性別バイアスをどのように拡大または軽減するか？
• RQ3 自己注意モジュールのどの特定コンポーネント—$\ mathbf{W_q}$、$\ mathbf{W_k}$、$\ mathbf{W_v}$、$\ mathbf{Q}$、$\ mathbf{K}$、$\ mathbf{V}$、$\ mathbf{AvgAttention}$、または残差層—が性別バイアスに最も顕著に影響を与えるか？
• RQ4 性別バイアスは全事前学習データセットにわたって一貫しており、強化または緩和の周期的パターンを示すか？

主な発見

• クエリ行列（$\ mathbf{W_q}$）とキー行列（$\ mathbf{W_k}$）は、埋め込み層を含む他のコンポーネントよりも顕著に性別バイアスを導入する。
• バイアス度は周期的に変化する：$\ mathbf{Q}$、$\ mathbf{K}$、$\ mathbf{V}$、および注目レイヤーの残差部は性別バイアスを拡大するが、平均化された注目（$\ mathbf{AvgAttention}$）はバイアスを軽減する。
• バイアス強化の確率は $\ mathbf{W_q}$ および $\ mathbf{W_k}$ で最も高く、$\ mathbf{W_v}$ は少ないバイアスヘッドに寄与する。
• 性別バイアス値の分布から、$\ mathbf{Q}$ および $\ mathbf{K}$ は $\ mathbf{W_v}$ を含む他のコンポーネントよりも大きなバイアスの大きさを示す。
• $\ mathbf{W_q}$、$\ mathbf{W_k}$、および最終レイヤ出力でバイアス付きの注目ヘッドの割合が顕著に増加しており、これらコンポーネントがバイアスを拡大していることを示している。
• 全ウィキペディア事前学習データセットにわたる性別バイアスの結論の一貫性から、観察されたバイアスパターンが特定の入力に依存するものではなく、堅牢であることが確認された。