[論文レビュー] Whose Opinions Matter? Perspective-aware Models to Identify Opinions of Hate Speech Victims in Abusive Language Detection

Sohail Akhtar, Valerio Basile+1 more|arXiv (Cornell University)|Jun 30, 2021

Hate Speech and Cyberbullying Detection参考文献 47被引用数 27

ひとこと要約

本論文は、偏り（P-index）に基づいてアノテータをグループに分割することで視点意識を持つモデルを開発し、グループ固有のゴールドスタンダードを作成し、アンサンブル手法を用いて暴言検出を改善する。さらに、ヘイトスピーチの被害者によって注釈されたマルチ・パースペクティブなデータセットを含む。

ABSTRACT

Social media platforms provide users the freedom of expression and a medium to exchange information and express diverse opinions. Unfortunately, this has also resulted in the growth of abusive content with the purpose of discriminating people and targeting the most vulnerable communities such as immigrants, LGBT, Muslims, Jews and women. Because abusive language is subjective in nature, there might be highly polarizing topics or events involved in the annotation of abusive contents such as hate speech (HS). Therefore, we need novel approaches to model conflicting perspectives and opinions coming from people with different personal and demographic backgrounds. In this paper, we present an in-depth study to model polarized opinions coming from different communities under the hypothesis that similar characteristics (ethnicity, social background, culture etc.) can influence the perspectives of annotators on a certain phenomenon. We believe that by relying on this information, we can divide the annotators into groups sharing similar perspectives. We can create separate gold standards, one for each group, to train state-of-the-art deep learning models. We can employ an ensemble approach to combine the perspective-aware classifiers from different groups to an inclusive model. We also propose a novel resource, a multi-perspective English language dataset annotated according to different sub-categories relevant for characterising online abuse: hate speech, aggressiveness, offensiveness and stereotype. By training state-of-the-art deep learning models on this novel resource, we show how our approach improves the prediction performance of a state-of-the-art supervised classifier.

研究の動機と目的

• 多様なアノテータの視点をモデル化することで、ヘイトスピーチの注釈における主観性を動機づけ、対処する。
• 偏りに基づくアノテータのグルーピング手法を導入し、グループ固有のゴールドスタンダードを作成する。
• 移民を被害者として含むアノテータのバックグラウンドで注釈されたマルチ・パースペクティブの英語データセットを開発する。
• 視点ベースのデータ上で最先端モデルを訓練し、ベースライン分類器に対する改善を評価する。
• 偏りの影響とアノテータの意見の不一致を生じさせる主題を分析し、データセット作成とモデリングに活かす。

提案手法

• 個々のメッセージにおけるアノテータの視点の偏りを測定するため、偏り指標（P-index）を定義・計算する。
• 平均偏りを最大化する分割を全探索して、アノテータを2つのグループに分割する。
• グループ別のゴールドスタンダードを作成し、各グループのデータ上で視点特異的分類器を訓練する。
• 視点認識分類器を組み合わせて包摂的な予測を行うアンサンブル（Inclusive）分類器を採用する。
• 必要に応じてP-indexに反比例して訓練例を複製し、訓練データの偏りを減らす。
• トランスフォーマーベースのモデル（例：BERT）および最先端のNLP手法を用いて、マルチパースペクティブデータセット上で分類器を訓練・評価する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: アノテータの偏りをどのように測定し、背景情報の有無に関わらず視点グループへ分割するために活用するか？
• RQ2 RQ2: インスタンスレベルの偏り指標は、アノテータの偏りを生じさせる主題や課題を明らかにできるか？
• RQ3 RQ3: グループ特有の視点で訓練すると分類性能が向上するか、包摂的なアンサンブルは効果的に視点を組み合わせられるか？
• RQ4 RQ4: マルチパースペクティブデータセットは、被害者の背景が暴言の注釈に果たす役割をどのように明らかにするか？

主な発見

• 偏りに基づくグーピングとグループ固有のゴールドスタンダードは、ベースライン手法より教師付き暴言検出の性能を向上させる。
• P-indexは、高度に偏ったメッセージと偏りに関連するトピックやキーワードを特定するのに役立つ。
• 視点認識モデルは、グループ別データで訓練すると非視点ベースラインと比較して精度・適合率・再現率・F1が改善される。
• 視点認識モデルを組み合わせる包摂的アンサンブル分類器は実現可能であり、ヘイトスピーチをまばらで主観的な現象として認識することと整合する。
• 移民などのバックグラウンド情報を含むデータセットは、偏りの要因と注釈品質へのより深い洞察を可能にする。