[論文レビュー] Mind the GAP: A Balanced Corpus of Gendered Ambiguous Pronouns

Kellie Webster, Marta Vilar Recasens+2 more|arXiv (Cornell University)|Oct 11, 2018

Natural Language Processing Techniques参考文献 48被引用数 8

ひとこと要約

本論文では、自然言語処理におけるジェンダーバイアスの軽減と共参照解決の向上を目的として、Wikipediaから抽出した8,908組の曖昧な代名詞-名前ペアから構成される大規模でジェンダーがバランス取れたコーパス、GAPを紹介する。著者らは、最先端のモデルがGAPでわずか66.9%のF1スコアしか達成しないことを示しており、曖昧な代名詞を現実世界の複雑さを伴って解消するにあたり、構文的構造とニューラルモデルの併用が不可欠であることを示唆している。

ABSTRACT

Coreference resolution is an important task for natural language understanding, and the resolution of ambiguous pronouns a longstanding challenge. Nonetheless, existing corpora do not capture ambiguous pronouns in sufficient volume or diversity to accurately indicate the practical utility of models. Furthermore, we find gender bias in existing corpora and systems favoring masculine entities. To address this, we present and release GAP, a gender-balanced labeled corpus of 8,908 ambiguous pronoun-name pairs sampled to provide diverse coverage of challenges posed by real-world text. We explore a range of baselines which demonstrate the complexity of the challenge, the best achieving just 66.9% F1. We show that syntactic structure and continuous neural models provide promising, complementary cues for approaching the challenge.

研究の動機と目的

• 曖昧な代名詞のバランスの取れた多様なコーパスの構築を通じて、共参照解決のデータセットおよびシステムにおけるジェンダーバイアスを是正すること。
• 現実世界の曖昧な代名詞の解消に直面する課題を反映した大規模で自然に発生するデータセットを提供すること。
• 最先端の共参照モデルの性能を、挑戦的でバランスの取れたベンチマーク上で評価し、現在のアプローチの限界を露呈すること。
• 男性性のエンティティに偏らない公平な解釈を促進するモデル設計を推進することにより、公平性を確保すること。
• 代名詞解釈を向上させるために、構文的構造や世界知識といった、主な言語的・構造的手がかりを同定すること。

提案手法

• 著者らは、構文的および話法的パターンに基づき、Wikipediaのテキストから曖昧な代名詞-名前ペアを抽出する、拡張可能で言語に依存しない手法を開発した。
• 8,908例の手作業によるコアフェレントラベルのアノテーションを実施し、男性および女性の先行詞が等比に含まれるようジェンダーのバランスを確保した。
• データセットには4つの構文的パターンが含まれる：InitialPro、MedialPro、FinalPro、およびトピカル性や複雑な構文を含む変種。
• GAP上でベースラインモデルを評価した。これには、4つの最先端の共参照システムに加え、構文的およびニューラル特徴を用いた単純なベースラインが含まれた。
• 著者らは、人間がアノテートしたゴールラベルとの整合性を難易度の代理指標として用い、システムのコンSENSUSに基づき、Green（簡単）、Yellow（中程度）、Red（困難）に分類した。
• 75件の「Red」例について、細分化された誤差分析を実施し、物語的役割、複雑な構文、ドメイン固有の知識といった繰り返し現れる課題を同定した。

実験結果

リサーチクエスチョン

• RQ1 既存の共参照データセットにおけるジェンダーバイアスが、現実世界の応用におけるモデルの性能と公平性に与える影響はどの程度か？
• RQ2 最先端の共参照モデルは、多様な構文的および話法的文脈における自然に発生する曖昧な代名詞にどの程度一般化できるか？
• RQ3 困難な状況における正確な代名詞解釈を予測する上で、構文的パターンや世界知識といった言語的・構造的手がかりのうち、どれが最も予測的か？
• RQ4 トランスフォーマーに基づくニューラルモデルと従来の構文的特徴は、曖昧な代名詞の解釈においてどのように補完し合うか？
• RQ5 物語的役割、トピカル性、ドメイン知識などの推論タイプは、現実世界のテキストにおける共参照解釈の難易度にどの程度顕著に寄与するか？

主な発見

• 最高のベースラインモデルでさえ、GAPデータセットで66.9%のF1スコアにとどまり、共参照解釈におけるさらなる改善の余地が大きいことを示している。
• 4つの最先端のシステムがすべて正しく解釈できた例はわずか29.7%にとどまり、データセットの難易度と現在のモデルの限界を浮き彫りにしている。
• 構文的構造と連続的ニューラルモデル（例：トランスフォーマー）は補完的役割を果たしており、両者の組み合わせが曖昧な代名詞の解釈性能を向上させることを示唆している。
• データセットは、物語的役割、複雑な構文、トピカル性、ドメイン固有の知識に関連する体系的な課題を明らかにした。特に「Red」例では、どのシステムもゴールラベルと一致しなかった。
• 著者らは、既存のデータセットおよびシステムに一貫したジェンダーバイアスが存在することを観察した。男性性のエンティティに偏りがあるが、GAPのバランスの取れた設計により、性別を問わず公平な解釈を促進するよう支援している。
• 75件の「Red」例に対する細分化された分析から、重複する推論タイプと、全体的な話法理解の必要性が、曖昧な代名詞の解釈の難易度の主な要因であることが明らかになった。