[論文レビュー] Debiasing Pre-trained Contextualised Embeddings

Masahiro Kaneko, Danushka Bollegala|arXiv (Cornell University)|Jan 23, 2021

Topic Modeling参考文献 42被引用数 10

ひとこと要約

この論文では、再訓練を伴わずにトークンレベルまたは文レベルで動作する、事前学習された文脈依存単語埋め込みのファインチューニングベースのデバイアス化手法を提案する。この手法は、BERT、RoBERTa、ALBERT、DistilBERT、ELECTRAといった複数の最先端モデルにおいて、性別バイアスを効果的に低減するとともに、意味的品質を維持する。全層にわたるトークンレベルのデバイアス化が、最高のパフォーマンスを示した。

ABSTRACT

In comparison to the numerous debiasing methods proposed for the static non-contextualised word embeddings, the discriminative biases in contextualised embeddings have received relatively little attention. We propose a fine-tuning method that can be applied at token- or sentence-levels to debias pre-trained contextualised embeddings. Our proposed method can be applied to any pre-trained contextualised embedding model, without requiring to retrain those models. Using gender bias as an illustrative example, we then conduct a systematic study using several state-of-the-art (SoTA) contextualised representations on multiple benchmark datasets to evaluate the level of biases encoded in different contextualised embeddings before and after debiasing using the proposed method. We find that applying token-level debiasing for all tokens and across all layers of a contextualised embedding model produces the best performance. Interestingly, we observe that there is a trade-off between creating an accurate vs. unbiased contextualised embedding model, and different contextualised embedding models respond differently to this trade-off.

研究の動機と目的

• 静的埋め込みとは対照的に、文脈依存単語埋め込みに対する有効なデバイアス化手法の不足に取り組む。
• モデルの複雑さ、文脈依存バイアス、再訓練に伴う高コストな計算の課題を克服する。
• アーキテクチャの変更なしに、任意の事前学習済み文脈依存モデルに適用可能な軽量なファインチューニングベースの手法を開発する。
• 文脈依存埋め込みに組み込まれたステレオタイプ的な性別バイアスを除去しながら、意味情報を維持する。
• 標準化されたベンチマークを用いて、複数のモデルとデータセットを対象に、デバイアス化の有効性を体系的に評価する。

提案手法

• トークンレベルまたは文レベルで動作するファインチューニング手法を提案し、文脈依存埋め込みのデバイアス化を実現する。
• 変換器ベースのモデルの各層に独立してこの手法を適用することで、包括的なバイアス除去を確保する。
• 性別に特化した単語ベクトル（女性的および男性的）を、デバイアス化プロセスをガイドするバイアス方向として使用する。
• 特定の語の性別バイアス表現を推定するために、その語を含むすべての文の平均隠れ状態を計算する。
• コサイン類似度を最小化するように埋め込みを投影し、意味的近接性を維持しながら、性別方向ベクトルとの類似度を低減する。
• すべてのトークンおよび層に均等にデバイアス化を適用することで、浅い層や深い層に残るバイアスを回避する。

実験結果

リサーチクエスチョン

• RQ1 再訓練を伴わず、ファインチューニングベースの手法が、事前学習済み文脈依存埋め込みを効果的にデバイアス化できるか。
• RQ2 トークンレベルのデバイアス化と文レベルのデバイアス化では、バイアス低減と意味的品質の維持にどのような違いが生じるか。
• RQ3 文脈依存モデルの全層にわたるデバイアス化は、部分的な層に限定したデバイアス化よりも優れた結果をもたらすか。
• RQ4 BERT、RoBERTa、ALBERT などの異なる文脈依存モデルは、同じデバイアス化手順に対して、バイアス低減の効果とパフォーマンスのトレードオフの観点でどのように反応するか。
• RQ5 デバイアス化は、ステレオタイプ的な性別関連性を低減する一方で、意味的情報をどの程度維持できるか。

主な発見

• 文脈依存モデルの全層にわたるトークンレベルのデバイアス化が、性別バイアス低減において最高の全体的パフォーマンスを示した。
• 最初の層と最後の層でのみデバイアス化を行うのは不十分であり、特にDistilBERTのようなモデルでは中間層にバイアスが残ることがある。
• 提案手法は、BERT、RoBERTa、ALBERT、DistilBERT、ELECTRA といったすべての評価対象モデルにおいて、SEAT および MNLI ベンチマークで性別バイアスを効果的に低減した。
• モデルの精度と公平性の間にトレードオフがある。RoBERTa や ALBERT では、デバイアス化の挙動が異なり、RoBERTa はバイアスが不足し、ALBERT は過剰にデバイアス化される傾向があり、デバイアス化プロセスに対するモデル固有の反応が示された。
• 可視化の結果、ステレオタイプ的語のデバイアス化済み埋め込みはゼロに近い性別スコアへ移動しており、性別関連性が低下していることが示されたが、モデルごとに分布のシフトの程度にばらつきが見られた。
• デバイアス化後もベンチマークタスクにおける一貫性のある下流タスクのパフォーマンスが維持されており、意味的品質が保持されていることが裏付けられた。