[論文レビュー] "Unsex me here": Revisiting Sexism Detection Using Psychological Scales and Adversarial Samples.

Mattia Samory, Indira Sen+3 more|arXiv (Cornell University)|Apr 27, 2020

Hate Speech and Cyberbullying Detection参考文献 35被引用数 4

ひとこと要約

本稿は、心理的尺度と敵対的サンプルを用いた理論駆動型コードブックを導入し、さまざまなデータセットにおける検出手法の評価を通じて、セクシュアリズムの分類を行う。現在のモデルが明白なセクシュアリズムを超えて一般化できないことが明らかになり、NLPシステムにおける検出の頑健性と包括性を向上させるために、より広範かつ理論に基づいたアプローチの必要性が示された。

ABSTRACT

To effectively tackle sexism online, research has focused on automated methods for detecting sexism. In this paper, we use items from psychological scales and adversarial sample generation to 1) provide a codebook for different types of sexism in theory-driven scales and in social media text; 2) test the performance of different sexism detection methods across multiple data sets; 3) provide an overview of strategies employed by humans to remove sexism through minimal changes. Results highlight that current methods seem inadequate in detecting all but the most blatant forms of sexism and do not generalize well to out-of-domain examples. By providing a scale-based codebook for sexism and insights into what makes a statement sexist, we hope to contribute to the development of better and broader models for sexism detection, including reflections on theory-driven approaches to data collection.

研究の動機と目的

• 既存のセクシュアリズム理論に裏付けられた、心理的尺度の項目をソーシャルメディアの現実のセクシュアリズム表現にマッピングする包括的なコードブックの開発。
• 多様なデータセットにおける既存のセクシュアリズム検出モデルの性能評価を通し、その頑健性と一般化能力の分析。
• 最小限の人的介入でセクシュアリズムを除去する方法を分析し、最小限のテキスト変更でバイアスを中和するための言語的パターンや戦略の同定。
• 特に、繊細なまたは文脈依存的な形でのセクシュアリズムを捉えられない現行の検出手法のギャップの特定。
• 自動セクシュアリズム検出システムの範囲と公平性を向上させるために、理論に基づいたデータ収集とモデル開発を提唱すること。

提案手法

• 敵対的サンプルは、セクシュアリズムの表現に対して最小限で的確な言語的変更を加えることで生成され、モデルの頑健性をテストし、脆弱性を同定する。
• 既存の心理的尺度から抽出した項目（敵対的・懸念的セクシュアリズムの測定）を応用し、ソーシャルメディアのテキストにおけるセクシュアリズムコンテンツのラベリング用に構造化されたコードブックを構築。
• 複数のデータセットで複数のセクシュアリズム検出モデルを評価し、ドメイン内およびドメイン外の例における性能を比較。
• 人間によるアノテーション付き編集を分析し、ステレオタイプの排除、力関係の再構成、性的対象化の言語の除去といった、セクシュアリズムを中和するための一般的な戦略を抽出。
• 心理的理論の知見をNLPのデータ収集とモデル評価に統合し、表現の幅と公平性を向上。
• 理論的構造（例：性別役割ステレオタイプ、対象化）を現実のテキストにおける言語的特徴にマッピングするコードブックの構築。

実験結果

リサーチクエスチョン

• RQ1 心理的尺度の項目は、ソーシャルメディアのテキストにおける現実のセクシュアリズム表現にどのように対応するか？
• RQ2 現在の自動セクシュアリズム検出モデルは、異なるデータセットや文脈においてどの程度一般化できるか？
• RQ3 人間がセクシュアリズムを除去するために適用する最小限の言語的変更は何か？ これらの変更は、セクシュアリズム言語の本質をどのように明らかにするか？
• RQ4 敵対的サンプルは、既存のセクシュアリズム検出モデルの弱みをどのように露呈するか？
• RQ5 理論駆動型のアプローチは、セクシュアリズム検出システムの設計と評価をどのようないずみで改善できるか？

主な発見

• 現在のセクシュアリズム検出モデルは、繊細な、または文脈的に埋め込まれた形のセクシュアリズムを検出できず、明白な敵対的または明示的な表現に対してのみ優れた性能を示す。
• モデルはドメイン外データへの一般化が著しく劣っており、異なるソーシャルメディアの文脈や言語的スタイルにおいても頑健性に欠けることが示された。
• 敵対的サンプルの分析から、セクシュアリズム表現に対するわずかな意味的変更が検出を回避するケースが多く見られ、モデルの脆さが浮き彫りになった。
• 人間がセクシュアリズムを除去する際の一般的な戦略には、性別ステレオタイプの置き換え、力関係の再構成、性的対象化の言語の削除が含まれており、こうした特徴が検出の鍵である可能性が示唆された。
• 心理的尺度から導出されたコードブックは、理論的構造（例：性別役割ステレオタイプ、対象化）を現実のテキストにおける言語的パターンに成功してマッピングし、アノテーションの再現性のあるフレームワークを提供した。
• オンラインコンテンツにおける多様で洗練された形のセクシュアリズムを検出するため、理論に基づいたデータ収集とモデル設計の必要性が明確になった。