[論文レビュー] Qualitative Analysis of a Graph Transformer Approach to Addressing Hate Speech: Adapting to Dynamically Changing Content

Liam Hebert, Hong Yi Chen+2 more|arXiv (Cornell University)|Jan 25, 2023

Hate Speech and Cyberbullying Detection被引用数 5

ひとこと要約

本論文では、個々のコメントではなく、全体の議論スレッドを分析することで嫌がらせ発言を予測するグラフトランスフォーマー基盤のアプローチを提案している。文脈的・順序的・マルチモーダル（テキスト、画像、記事）情報を統合し、動的で文脈依存的な嫌がらせ発言、特に再定義された差別用語やマルチモーダルコンテンツを含むケースにおいて、誤検出や見逃しを低減する。コメント単体のモデルに比べて性能が優れている。

ABSTRACT

Our work advances an approach for predicting hate speech in social media, drawing out the critical need to consider the discussions that follow a post to successfully detect when hateful discourse may arise. Using graph transformer networks, coupled with modelling attention and BERT-level natural language processing, our approach can capture context and anticipate upcoming anti-social behaviour. In this paper, we offer a detailed qualitative analysis of this solution for hate speech detection in social networks, leading to insights into where the method has the most impressive outcomes in comparison with competitors and identifying scenarios where there are challenges to achieving ideal performance. Included is an exploration of the kinds of posts that permeate social media today, including the use of hateful images. This suggests avenues for extending our model to be more comprehensive. A key insight is that the focus on reasoning about the concept of context positions us well to be able to support multi-modal analysis of online posts. We conclude with a reflection on how the problem we are addressing relates especially well to the theme of dynamic change, a critical concern for all AI solutions for social impact. We also comment briefly on how mental health well-being can be advanced with our work, through curated content attuned to the extent of hate in posts.

研究の動機と目的

• 会話の文脈が進化するのを考慮しないコメント単体の嫌がらせ発言検出モデルの限界を是正すること。
• グラフベースの推論を用いて、嫌がらせ発言が明示的に投稿される前にもそれを事前に予測できる、能動的な嫌がらせ発言検出システムを開発すること。
• 画像や外部記事などのマルチモーダルコンテンツを嫌がらせ発言検出に統合し、文脈的正確性を向上させること。
• 動的で文脈に敏感な嫌がらせ強度スコアを提供することで、ユーザーがコンテンツを制御できるようにし、メンタルヘルスを支援すること。
• 議論構造のグラフベースモデリングが、個々のコメントの分析に比べて、より正確で公平な嫌がらせ発言予測を可能にすることを示すこと。

提案手法

• モデルは、ノードをコメント、エッジを返信関係として定義するグラフとして議論スレッドの構造をエンコードするGraphormer（グラフトランスフォーマー）アーキテクチャを用いる。
• テキストにはBERTベースの文脈埋め込みを組み込み、画像埋め込みや記事コンテンツなどのマルチモーダル特徴をモデルに拡張する。
• 以前の文脈のみを用いて、逐次的かつ深さ方向にコメントラベルを予測する。これは、実世界の展開条件を模倣する。
• グラフトランスフォーマー内のアテンション機構により、過去のコメントや構造的関係の重要性を重み付けし、将来の嫌がらせ発言を予測できる。
• Redditの議論データで微調整し、嫌がらせの強度を0〜4の順序尺度で予測する。
• ユーザー単位の情報とコミュニティレベルのダイナミクスをグラフにエンコードすることで、文脈への感受性を向上させる。

Figure 1: Graphormer Architecture

実験結果

リサーチクエスチョン

• RQ1 議論スレッド全体をモデル化することで、個々のコメントの分析に比べて嫌がらせ発言検出はどの程度向上するか？
• RQ2 画像や記事といったマルチモーダル要素は、嫌がらせ分類の正確性にどのような影響を及えるか？
• RQ3 グラフトランスフォーマーモデルは、嫌がらせ発言が明示的に表現される前にも、その発生を事前に予測できるか？
• RQ4 再定義された差別用語や文脈依存的な言語は、コメント単体のモデルとグラフベースのモデルの性能にどのように影響するか？
• RQ5 動的で文脈に敏感な嫌がらせ強度スコアは、メンタルヘルスの支援やユーザー主導の自己モデレーションにどの程度寄与できるか？

主な発見

• グラフベースのモデルは、LGBTQのスラングにおける再定義された差別用語を含むコメントについて、コメント単体のモデルが誤って嫌がらせと分類するのを顕著に低減した。
• 画像や記事を入力に含めることで、テキストのみでは曖昧または誤解を招くような状況でも、文脈理解が向上した。
• モデルは、嫌がらせ発言が顕在化する前に対話内で段階的に悪化する傾向を成功裏に予測し、能動的検出能力を示した。
• 感情的で強いトーンの議論でも、実際の嫌がらせ度が低い場合には、グラフモデルはコメント単体のモデルよりも低い嫌がらせ予測値を維持し、過剰な監視を回避した。
• 画像とテキストの組み合わせに依存する文脈的嫌がらせ発言の検出において、テキストに依存するモデルよりも本システムは優れた性能を示した。
• 順序尺度による嫌がらせ強度スコアにより、ユーザーが自らの暴露レベルをカスタマイズできるコンテンツフィルタリングが可能となり、メンタルヘルスの支援に貢献した。

Figure 2: Photo of the Drag Queen discussed in Table 3