[論文レビュー] Towards Debiasing Sentence Representations

Paul Pu Liang, Irene Li+4 more|arXiv (Cornell University)|Jul 16, 2020

Topic Modeling参考文献 48被引用数 7

ひとこと要約

この論文では、BERT や ELMo などの文脈依存的文表現における後処理的デバイアス化手法である Sent-Debias を提案する。本手法は、多様な文のテンプレートを生成することでバイアス部分空間を推定・除去する。感情分析や自然言語理解などの下流NLPタスクにおける性能を維持したまま、性別および宗教的バイアスを効果的に低減する。

ABSTRACT

As natural language processing methods are increasingly deployed in real-world scenarios such as healthcare, legal systems, and social science, it becomes necessary to recognize the role they potentially play in shaping social biases and stereotypes. Previous work has revealed the presence of social biases in widely used word embeddings involving gender, race, religion, and other social constructs. While some methods were proposed to debias these word-level embeddings, there is a need to perform debiasing at the sentence-level given the recent shift towards new contextualized sentence representations such as ELMo and BERT. In this paper, we investigate the presence of social biases in sentence-level representations and propose a new method, Sent-Debias, to reduce these biases. We show that Sent-Debias is effective in removing biases, and at the same time, preserves performance on sentence-level downstream tasks such as sentiment analysis, linguistic acceptability, and natural language understanding. We hope that our work will inspire future research on characterizing and removing social biases from widely adopted sentence representations for fairer NLP.

研究の動機と目的

• 最新の文脈依存的文表現（例：BERT や ELMo）に社会的バイアスが存在するかどうかを調査すること。
• 再トレーニングが計算的に非現実的である大規模でファインチューニング済みの文エンコーダーのデバイアス化の課題に対処すること。
• 下流タスクの性能を維持したまま、文レベルの表現におけるバイアスを低減する後処理的デバイアス化手法を開発すること。
• 文の表現におけるバイアス部分空間の推定の正確性を高めるために、多様な文のテンプレートの重要性を示すこと。

提案手法

• 自然言語コーパスから多様な文のテンプレートを生成し、バイアス属性語（例：'man'、'woman'、'Muslim'、'Christian'）を文脈化する。
• これらの文脈化された文を用いて、線形代数的射影により文表現のバイアス部分空間を推定する。
• Hard-Debias の変種を適用し、推定されたバイアス部分空間を文埋め込みから除去する。
• 再トレーニングなしに、事前学習済みの文エンコーダーに対して後処理としてデバイアス化を実行する。
• 中立的な文にのみデバイアス除去を適用し、固有に属性固有の語（例：'grandmother'）はデバイアス化から除外する。
• モデルのファインチューニング後にバイアス部分空間を再推定し、再びデバイアス化を適用することで、効果の維持を図る。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの文表現（例：BERT や ELMo）は、性別や宗教といった社会的バイアスをどの程度にまで含んでいるのか？
• RQ2 再トレーニングなしに、後処理的デバイアス化手法が文表現におけるバイアスを効果的に低減できるか？
• RQ3 文のテンプレートの多様性とカバー範囲は、バイアス部分空間推定の正確性にどのように影響するか？
• RQ4 文表現のデバイアス化は、感情分析や自然言語理解などの下流NLPタスクの性能を低下させるか？
• RQ5 提案手法は、異なる文エンコーダーおよび下流タスクに一般化可能か？

主な発見

• Sent-Debias は、BERT や ELMo における性別および宗教的バイアスを効果的に低減するが、下流タスクの性能を損なわない。
• SST-2 感情分析タスクにおいて、BERT の正答率はデバイアス化後、92.7% から 89.1% にわずかに低下した。これは最小限の性能損失を示している。
• CoLA 受容可能性タスクにおいて、ELMo の性能は 39.1% から 37.1% に低下したが、小さな低下であり、許容できる範囲であった。
• QNLI 自然言語推論タスクにおいても、BERT はデバイアス化後も 91.3% の正答率を維持しており、性能が保持されている。
• 多様で大規模な文のテンプレートセットを用いることで、限定的または非多様なテンプレートに比べて、バイアス部分空間推定の正確性が著しく向上した。
• ファインチューニング後でもデバイアス化は有効であるが、性能を維持するためにはバイアス部分空間の再推定が必要である。