[論文レビュー] Gender Bias in Coreference Resolution: Evaluation and Debiasing Methods

Jieyu Zhao, Tianlu Wang+3 more|arXiv (Cornell University)|Apr 18, 2018

Topic Modeling参考文献 20被引用数 95

ひとこと要約

WinoBiasを導入して、ルールベース／特徴量ベース／ニューラル系統のコアリファレンスにおけるジェンダーバイアスを測定する。バイアスの存在を示し、データ拡張とデバレイスド埋め込みを用いることで性能への影響を最小限に抑えつつ緩和可能であることを示す。

ABSTRACT

We introduce a new benchmark, WinoBias, for coreference resolution focused on gender bias. Our corpus contains Winograd-schema style sentences with entities corresponding to people referred by their occupation (e.g. the nurse, the doctor, the carpenter). We demonstrate that a rule-based, a feature-rich, and a neural coreference system all link gendered pronouns to pro-stereotypical entities with higher accuracy than anti-stereotypical entities, by an average difference of 21.1 in F1 score. Finally, we demonstrate a data-augmentation approach that, in combination with existing word-embedding debiasing techniques, removes the bias demonstrated by these systems in WinoBias without significantly affecting their performance on existing coreference benchmark datasets. Our dataset and code are available at http://winobias.org.

研究の動機と目的

• コアリファレンス解決におけるジェンダーバイアスとその社会的影響の可能性を研究動機として提示する。
• 職業ベースの代名詞を用いて、プロステレオタイプ寄りと反ステレオタイプ寄りの結びつきを探る対象ベンチマーク（WinoBias）を作成する。
• システム間でのプロステレオタイプ寄りと反ステレオタイプ寄りの条件付けを比較してバイアスを定量化する。
• データ拡張（性別スワッピング）とデバイデッド語彙埋め込みを含むデバイアス低減戦略を提案・評価し、コアリファレンス精度を維持しつつバイアスを低減する。

提案手法

• 40の職業と性別代名詞を中心とした二種類のWinograd風テンプレートでWinoBiasを構築する。
• OntoNotesとWinoBiasで、ルールベース・特徴量ベース・エンドツーエンドのニューラルの3つの代表的なコアリファレンスシステムを評価する。
• 性別の表現と職業言及を含むOntoNotesの学習データを調べ、バイアスの源を分析する。
• 学習データの性別関連の相関をバランスさせるデータ拡張としての性別スワップを提案する。
• 固定資源（デバイシド埋め込み、ジェンダーリスト）に対するデバイアス除去技術を適用し、拡張と組み合わせてバイアスを低減する。
• デバイアス除去がWinoBiasでのプロステレオタイプ寄りと反ステレオタイプ寄りのギャップを低減し、OntoNotesでの性能低下を最小限にとどめることを示す。

実験結果

リサーチクエスチョン

• RQ1 WinoBiasにおけるプロステレオタイプ寄りと反ステレオタイプ寄りの職業での性能差で、コアリファレンスシステムにジェンダーバイアスが表れているか。
• RQ2 性別スワッピングを含むデータ拡張と埋め込み／デバイアスを用いた低減が、標準ベンチマークでのコアリファレンス精度を大幅に損なうことなくバイアスを低減できるか。
• RQ3 コアリファレンスタスクの学習データ（OntoNotes）における主要なバイアス源は何か。
• RQ4 デバイアス手法が異なるモデルアーキテクチャ（ルールベース、特徴量ベース、ニューラル）とどのように相互作用してジェンダーバイアスを緩和するか。

主な発見

• 3つの代表的なシステム全てにおいて、WinoBias上でプロステレオタイプ寄りと反ステレオタイプ寄りの条件間に測定可能な差が見られる。
• データ拡張（性別スワップ）とデバイアス埋め込みおよびリソースデバイアスを組み合わせることで、WinoBiasのバイアス信号を低減または除去しつつ、OntoNotesでの競争力ある性能を維持する。
• OntoNotesでは女性エンティティが過少表現されており、性別スワップはこのバイアスに対抗するための均衡の取れた補助データを作成できる。
• 十分に強力な代替手が与えられた場合、システムはバイアスを無視できる可能性があることを示し、手掛かりが堅牢な場合にはバイアスが必ずしも避けられないわけではないことを示唆する。
• 提案されたデータ拡張と埋め込みデバイアスの組み合わせは、主要なベンチマークデータセットでほとんどまたは全く性能低下を生じず、コアリファレンスのデバイアス除去の実用的有用性を示唆する。