[論文レビュー] When a Tweet is Actually Sexist. A more Comprehensive Classification of Different Online Harassment Categories and The Challenges in NLP

Sima Sharifirad, Stan Matwin|arXiv (Cornell University)|Feb 27, 2019

Hate Speech and Cyberbullying Detection参考文献 12被引用数 20

ひとこと要約

本論文は、Twitterにおけるオンラインいじめの洗練された多カテゴリー分類を提案し、5つの明確なタイプを導入する：間接的いじめ、情報的脅し、性的いじめ、身体的いじめ、および性的いじめでない。手動でアノテートされたデータセットを用いた教師あり機械学習により、より洗練された分類体系が、従来の敵対的／懸命的二分法をはるかに超えて、微妙で複雑な形態の性差別を検出する能力を向上させることを示している。これは、より効果的なNLPベースの嫌がらせ検出システムの基盤を提供する。

ABSTRACT

Sexism is very common in social media and makes the boundaries of freedom tighter for feminist and female users. There is still no comprehensive classification of sexism attracting natural language processing techniques. Categorizing sexism in social media in the categories of hostile or benevolent sexism are so general that simply ignores the other types of sexism happening in these media. This paper proposes a more comprehensive and in-depth categories of online harassment in social media e.g. twitter into the following categories, "Indirect harassment", "Information threat", "sexual harassment", "Physical harassment" and "Not sexist" and address the challenge of labeling them along with presenting the classification result of the categories. It is preliminary work applying machine learning to learn the concept of sexism and distinguishes itself by looking at more precise categories of sexism in social media.

研究の動機と目的

• 既存の二分類（敵対的対する懸命的性差別）の限界を是正し、オンラインいじめの全範囲を捉えること。
• 特にTwitterを含むソーシャルメディアにおけるオンラインいじめをより包括的かつ詳細に分類するフレームワークを構築すること。
• NLP技術を用いた多様な形態の性差別をラベリングおよび検出する際の課題を調査すること。
• 微妙で間接的な性的いじめコンテンツを検出できる、より優れた機械学習モデルの基盤を提供すること。

提案手法

• 著者らは、5つの明確なオンラインいじめのカテゴリーを定義する：間接的いじめ、情報的脅し、性的いじめ、身体的いじめ、および性的いじめでない。
• 提案された分類体系に従って、人間のラベラーが手動でアノテートしたツイートデータセットを構築し、ラベリングの一貫性と正確性を確保した。
• 教師あり機械学習モデルを、アノテート済みデータセット上で学習させ、ツイートを5つの事前に定義されたカテゴリーに分類するように訓練した。
• 分類の有効性を評価するために、標準的なNLP指標（精度、再現率、F1スコア）を用いてモデルのパフォーマンスを評価した。
• ラベリングの課題に対処するため、アノテーター間整合性の分析を行い、微妙または間接的な性差別的言語を分類する際の曖昧さについても検討した。
• 本アプローチは文脈に配慮した分類を強調しており、性差別的コンテンツがしばしば間接的または暗号化された形で現れるという事実を認識している。

実験結果

リサーチクエスチョン

• RQ1 従来の敵対的／懸命的二分法を超えて、より洗練され意味のあるカテゴリーに、Twitterにおけるオンラインいじめを分類する方法は何か？
• RQ2 NLP技術を用いた際、微妙で間接的な形態の性差別をラベリングする際の主な課題は何か？
• RQ3 機械学習モデルは、性的・身体的脅しを含む、さまざまなタイプのオンラインいじめをどれほど正確に区別できるか？
• RQ4 より包括的な分類体系は、二分類と比較して、性差別的コンテンツの検出をどの程度向上させるか？
• RQ5 オンラインいじめのラベリングにおいて、主な曖昧さや合意のない点は何か、そしてそれらはどのように軽減できるか？

主な発見

• 提案された5カテゴリー分類体系により、従来の二分類モデルが見過ごしがちな、間接的および脅しに基づく行動を含む、さまざまな形態のオンラインいじめをより正確に特定できるようになった。
• 本研究は、間接的いじめと情報的脅しは一般的ではあるが、依然として認識が不足している性差別の形態であることを示した。
• アノテーター間整合性は中程度にとどまり、微妙または文脈依存的な性差別的言語をラベリングする際の複雑さと主観性が浮き彫りになった。
• 機械学習モデルは、適切なアノテーションを経て、新たな分類体系で測定可能なパフォーマンスを達成しており、洗練された分類が適切なアノテーションのもとで実現可能であることが示された。
• 結果から、現在のNLPシステムは、単純化された分類スキームに依存しているため、性差別的コンテンツを著しく検出しきれていない可能性があると示唆された。
• 本論文は、ソーシャルメディアにおける効果的で文脈に配慮した嫌がらせ検出ツールを開発するためには、より包括的なフレームワークが不可欠であると確立した。