[論文レビュー] Discovering and Categorising Language Biases in Reddit

Xavier Ferrer, Tom van Nuenen+2 more|arXiv (Cornell University)|Aug 6, 2020

Hate Speech and Cyberbullying Detection被引用数 6

ひとこと要約

本稿では、事前に定義されたバイアス用語に依存せずに、Redditコミュニティ内における性別、宗教、民族に関する言語的バイアス——例えば、性別、宗教、民族——を発見・分類するデータ駆動型手法を提案する。バイアス語のクラスタリングと意味解析を適用することで、コミュニティ固有のバイアスを特定し、/r/TheRedPill および /r/dating_advice で性別バイアス、/r/atheism で宗教バイアス、/r/The_Donald で民族バイアスを効果的に検出できた。

ABSTRACT

We present a data-driven approach using word embeddings to discover and categorise language biases on the discussion platform Reddit. As spaces for isolated user communities, platforms such as Reddit are increasingly connected to issues of racism, sexism and other forms of discrimination. Hence, there is a need to monitor the language of these groups. One of the most promising AI approaches to trace linguistic biases in large textual datasets involves word embeddings, which transform text into high-dimensional dense vectors and capture semantic relations between words. Yet, previous studies require predefined sets of potential biases to study, e.g., whether gender is more or less associated with particular types of jobs. This makes these approaches unfit to deal with smaller and community-centric datasets such as those on Reddit, which contain smaller vocabularies and slang, as well as biases that may be particular to that community. This paper proposes a data-driven approach to automatically discover language biases encoded in the vocabulary of online discourse communities on Reddit. In our approach, protected attributes are connected to evaluative words found in the data, which are then categorised through a semantic analysis system. We verify the effectiveness of our method by comparing the biases we discover in the Google News dataset with those found in previous literature. We then successfully discover gender bias, religion bias, and ethnic bias in different Reddit communities. We conclude by discussing potential application scenarios and limitations of this data-driven bias discovery method.

研究の動機と目的

• Redditのようなソーシャルメディアプラットフォームにおいて、従来のバイアス検出が事前に定義された用語に依存するため、コミュニティ固有の言語的バイアスを検出する分野に大きなギャップが存在することに対処すること。
• 特定のサブレッドの語彙とディス course パatters にのみ依存する、一般的でデータ駆動型のアプローチを開発すること。
• 評価言語に関する事前の仮定なしに、性別、宗教、民族などの保護対象属性に対するバイアスを発見すること。
• Google News コーパスの大規模なコーパスで手法を検証した後、より小さなコミュニティ中心のRedditデータセットに適用すること。
• オンラインディスコースコミュニティにおける言語的バイアスの特定および分類に向けたスケーラブルでモジュラーなフレームワークを提供すること。

提案手法

• サブレッド固有のテキストコーパス上で語彙埋め込みを学習し、コミュニティ言語における意味的関係とバイアスパターンを捉える。
• 語彙埋め込み間のコサイン類似度を用いて、保護対象属性（例：性別、宗教、民族）に対して最もバイアスが強い語を特定する。
• 埋め込み類似度に基づいて、意味的に整合性のあるクラスタにバイアス語をグループ化するためのk-meansクラスタリングを適用する。
• 意味的分析システムを用いて、クラスタに意味のある概念（例：「犯罪性」、「魅力の欠如」、「純粋性」）をラベル付ける。
• 感情極性スコアを用いて、クラスタ内でのバイアス語の価値（肯定的／否定的）をさらに特徴付ける。
• 手法の信頼性と一貫性を保証するため、Redditのサブレッドに適用する前にGoogle Newsデータセットで手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 事前に定義された評価用語に依存せずに、オンラインディスコースコミュニティにおける保護対象属性に対する言語的バイアスをどのように発見できるか？
• RQ2 語彙埋め込みとクラスタリングは、固有の語彙やスラングを持つ異なるサブレッドにおいて、コミュニティ固有のバイアスをどの程度効果的に明らかにできるか？
• RQ3 この手法は、実際のRedditコミュニティにおいて性別、宗教、民族バイアスを効果的に検出し、分類できるか？
• RQ4 異なるイデオロギー的傾向を示すサブレッド間で、バイアス語の意味的クラスタはどのように異なるか？
• RQ5 感情極性は、コミュニティディスコースにおけるバイアス言語の特徴付けをどのように洗練させるか？

主な発見

• 本手法は、/r/TheRedPill および /r/dating_advice で性別バイアスを効果的に特定した。クラスタは「有毒なマスキュリニティ」や「感情の疎外」といった特徴を中心に形成された。
• 宗教バイアスは /r/atheism で検出された。ここでは「罪」、「偽善」、「道徳的腐敗」と関連する語が宗教的グループと結びつけられていた。
• 民族バイアスは /r/The_Donald で明らかになった。クラスタは、白人以外のアイデンティティに対して「犯罪性」、「法と秩序」、「計画性」などの否定的関連を示していた。
• 本手法により、サブレッド内のバイアス語はしばしば固有の否定的性質を持たないが、文脈的・コミュニティ固有の使用によってバイアスが生じることが明らかになった。
• 白人名に偏ったクラスタでは、「魅力的でない」や「肥満」などのステグマ化されたラベルが最小限に抑えられていたことから、異なるコミュニティでバイアスのパターンが顕著に異なることが示された。
• Google Newsデータセットで既知のバイアスパターンを再現したため、本手法は実世界への応用前に信頼性が確認された。