[論文レビュー] The Authors Matter: Understanding and Mitigating Implicit Bias in Deep Text Classification

Haochen Liu, Wei Jin+3 more|arXiv (Cornell University)|May 6, 2021

Topic Modeling参考文献 30被引用数 4

ひとこと要約

本稿では、著者関連の言語的パターンではなくコンテンツベースの特徴に注目させるように訓練することで、深層テキスト分類モデルの内的バイアスを軽減するモデルに依存しないフレームワークDebiased-TCを提案する。類似度選択層と最適化戦略を組み合わせることで、著者の人種的属性に関連する不正な予測を低減しつつ、3つの実世界データセットにおいて分類精度を維持またはわずかに向上させる。

ABSTRACT

It is evident that deep text classification models trained on human data could be biased. In particular, they produce biased outcomes for texts that explicitly include identity terms of certain demographic groups. We refer to this type of bias as explicit bias, which has been extensively studied. However, deep text classification models can also produce biased outcomes for texts written by authors of certain demographic groups. We refer to such bias as implicit bias of which we still have a rather limited understanding. In this paper, we first demonstrate that implicit bias exists in different text classification tasks for different demographic groups. Then, we build a learning-based interpretation method to deepen our knowledge of implicit bias. Specifically, we verify that classifiers learn to make predictions based on language features that are related to the demographic attributes of the authors. Next, we propose a framework Debiased-TC to train deep text classifiers to make predictions on the right features and consequently mitigate implicit bias. We conduct extensive experiments on three real-world datasets. The results show that the text classification models trained under our proposed framework outperform traditional models significantly in terms of fairness, and also slightly in terms of classification performance.

研究の動機と目的

• 深層テキスト分類モデルにおける内的バイアスの存在とそのメカニズムを調査すること。具体的には、テキストにそのアイデンティティの単語が含まれていないにもかかわらず、著者の人種的属性が予測に不正に影響を与えること。
• 深層モデルが著者の人種的属性に関連する言語的特徴を学習し、それらを活用することでバイアスが生じることを理解すること。
• トレーニング中にバイアスのある特徴選択を是正する、モデルに依存しないフレームワークを開発すること。
• 提案手法の公平性向上効果と分類パフォーマンスの維持・向上を、実験的に評価すること。

提案手法

• 著者の人種的属性に基づいてバイアスのある予測を下すモデルが使用する言語的特徴（例：「goin」や「yup」のような方言的表現）を特定するための学習ベースの解釈手法を提案する。
• モデルがコンテンツ関連の特徴にのみ注目するように明示的に誘導する、類似度選択層を設計する。これにより、人種に関連する言語的手がかりがフィルタリングされる。
• バックプロパゲーション中に正しいコンテンツベースの特徴を優先するように訓練するための微分可能最適化手法を導入する。これにより、バイアスのある信号への依存が低減される。
• 任意の深層テキスト分類器（例：CNN やトランスフォーマー）に統合可能な、モデルに依存しないフレームワークを確保する。
• 比較のためのベースラインとしてデータ拡張とインスタンス重み付けを用いるが、データの再バランスではなく学習ベースの是正に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 テキストにアイデンティティの単語が含まれていないにもかかわらず、著者の人種的属性が予測に影響を与えるという内的バイアスは、深層テキスト分類モデルに存在するか？
• RQ2 モデルが著者の人種的属性に関連して学習する具体的な言語的特徴は何か？ そして、それらの特徴が不正な予測を引き起こすメカニズムは何か？
• RQ3 学習ベースのフレームワークは、トレーニング中にモデルのバイアスのある言語的手がかりへの依存を効果的に特定・是正できるか？
• RQ4 従来のデバイアス化手法と比較して、提案されたフレームワークDebiased-TCは公平性と分類パフォーマンスの両面で優れているか？

主な発見

• 深層テキスト分類モデルには内的バイアスが存在する：「yup」や「goin」のような方言的表現を用いて書かれたテキストに対して、アフリカ系アメリカン著者のものと判断された場合、肯定的なセンチメントでも低いスコアが割り当てられる。
• 類似度解釈手法により、モデルが人種に関連する言語的特徴（例：アフリカ系アメリカン著者に「goin」を関連付ける）を学習し、誤ったラベルに結びつけることが確認された。その結果、不正な予測が生じる。
• Debiased-TCは3つの実世界データセットにおいて、内的バイアスを顕著に低減した。人種的グループごとの精度とF1スコアの両方で公平性の向上が観察された。
• フレームワークは分類パフォーマンスを維持またはわずかに向上させた。IMDBデータセットでは、Debiased-TCが63.68%の精度と74.05%のF1スコアを達成し、ベースモデルよりわずかに高く、データ拡張ベースラインと同等の性能を示した。
• データの不均衡やアイデンティティ用語の交換が不可能な状況においても、従来のデバイアス化手法（データ拡張やインスタンス重み付け）よりも公平性指標で優れた性能を示した。