[論文レビュー] Identifying Different Layers of Online Misogyny

Wienke Strathern, Jürgen Pfeffer|arXiv (Cornell University)|Dec 1, 2022

Hate Speech and Cyberbullying Detection被引用数 5

ひとこと要約

本研究では、アーマー・ハルドに関する5,000件のリツイート数の多いツイートに適用し、明示的および暗黙的オンラインミソジニーを同定するための11段階の分類スキームを提案する。その結果、グーグルのPerspective APIは暗黙的ミソジニーを検出できないことが判明し、性別に基づく憎悪発言に対する自動化された毒性検出システムにおける重要な空白が浮き彫りになった。

ABSTRACT

Social media has become an everyday means of interaction and information sharing on the Internet. However, posts on social networks are often aggressive and toxic, especially when the topic is controversial or politically charged. Radicalization, extreme speech, and in particular online misogyny against women in the public eye have become alarmingly negative features of online discussions. The present study proposes a methodological approach to contribute to ongoing discussions about the multiple ways in which women, their experiences, and their choices are attacked in polarized social media responses. Based on a review of theories on and detection methods for misogyny, we present a classification scheme that incorporates eleven different explicit as well as implicit layers of online misogyny. We also apply our classes to a case study related to online aggression against Amber Heard in the context of her allegations of domestic violence against Johnny Depp. We finally evaluate the reliability of Google's Perspective API -- a standard for detecting toxic language -- for determining gender discrimination as toxicity. We show that a large part of online misogyny, especially when verbalized without expletive terms but instead more implicitly is not captured automatically.

研究の動機と目的

• 明示的および暗黙的の両方の形をとるオンラインミソジニーを包括的に同定するための分類スキームを開発すること。
• 特に女性を対象とした高名度の事例において、ミソジスティックなコンテンツがどのように分極化したオンライン議論に現れるかを検討すること。
• 具体的には、グーグルのPerspective APIを含む自動化された毒性検出ツールの、ミソジスティックなコンテンツ同定における有効性を評価すること。
• 人間のレビュアーが被害者に二次的トラウマストレスにさらされる可能性があるという倫理的課題を解決するため、トラウマに配慮した実務手順を採用すること。
• 今後の研究における自動化された嫌がらせ発言検出およびコンテンツモデレーションの支援を目的として、公開可能なデータセットとコーディングマニュアルを提供すること。

提案手法

• 理論的根拠に基づき、実証的知見を反映した11段階のオンラインミソジニーの分類スキームを構築し、明示的および暗黙的の両方の形態を含めた。
• 2019年から2021年までの間に@realamberheardを含む24万件のツイートを収集し、その中からリツイート数上位5,000件を手動でアノテート対象として選定した。
• 信頼性を確保するため、詳細なコーディングマニュアルと事前に作成された50件のアノテーションテストセットを用いて、学部生のアノテーターを訓練・監視した。
• 5,000件のツイートに対してPerspective APIを適用し、毒性スコアを付与し、人間によるアノテーション結果と照合した。
• アノテーターが二次的トラウマストレスにさらされないよう、トラウマに配慮したガイドラインを統合した。
• 研究の再現性および今後の研究支援を目的として、アノテート済みデータセットとコーディングマニュアルを公開した。

実験結果

リサーチクエスチョン

• RQ1 オンラインミソジニーは、明示的および暗黙的の両方を含め、どのように体系的に異なる段階に分類できるか？
• RQ2 グーグルのPerspective APIは、特に暗黙的形態を含め、ソーシャルメディアの議論におけるミソジスティックなコンテンツをどの程度検出できるか？
• RQ3 ミソジスティックなコンテンツのラベル付けにおける人間によるアノテーションの倫理的課題は何か、そしてそれらはどのように軽減できるか？
• RQ4 アーマー・ハルドのDV告発をめぐる高名度のオンライン議論において、暗黙的ミソジニーはどの程度広がっているか？
• RQ5 現在の自動化された毒性検出システムは、性別特異的な嫌がらせ発言を同定するうえで、どのような限界を抱えているか？

主な発見

• 分析対象の5,000件のツイートの約2/3がミソジスティックなコンテンツを含んでおり、そのうちの1/3が明示的ミソジニー、残りの1/3が暗黙的ミソジニーと分類された。
• Perspective APIは明示的ミソジニーを限定的に検出できたが、顕著な割合の暗黙的ミソジスティックなコンテンツを検出できなかった。
• オンラインディスコースにおけるミソジスティックな言語の大部分は、間接的または文脈依存的な表現を用いて暗黙的に表現されており、現在のモデルでは信頼性を持って捉えることができない。
• 本研究は、Perspective APIのような自動化システムが、特に明確な嫌がらせスラングや汚い言葉を避ける、洗練された性別に基づく憎悪発言を検出するのに不十分であることを確認した。
• 研究者たちは、既存の毒性検出モデルが、重要な形態のミソジスティックな修辞を逃している可能性があり、結果としてコンテンツモデレーションが不十分になる可能性があると強調した。
• 本研究は、暗黙的ミソジニーが単に広がっているのではなく、最新のAIツールによって系統的に検出されないという証拠を提供しており、改善された語彙リストと文脈に配慮したモデルの開発が求められている。