[論文レビュー] Generate, Prune, Select: A Pipeline for Counterspeech Generation against Online Hate Speech

Wanzheng Zhu, Suma Bhat|arXiv (Cornell University)|Jun 3, 2021

Hate Speech and Cyberbullying Detection参考文献 54被引用数 5

ひとこと要約

本論文は、オンラインの嫌がらせに対する多様で関連性のある対抗発言を生成するための三段階パイプライン—Generate, Prune, Select—であるGPSを提案する。まず複数の候補を生成し、BERTを用いて不文閊な応答をフィルタリングした後、新しいリtrievalベースの手法により関連性の高い応答を選択することで、GPSは自動評価および人的評価の両方で、3つのベンチマークデータセットにおいて多様性と関連性の両面で最先端の性能を達成した。

ABSTRACT

Countermeasures to effectively fight the ever increasing hate speech online without blocking freedom of speech is of great social interest. Natural Language Generation (NLG), is uniquely capable of developing scalable solutions. However, off-the-shelf NLG methods are primarily sequence-to-sequence neural models and they are limited in that they generate commonplace, repetitive and safe responses regardless of the hate speech (e.g., "Please refrain from using such language.") or irrelevant responses, making them ineffective for de-escalating hateful conversations. In this paper, we design a three-module pipeline approach to effectively improve the diversity and relevance. Our proposed pipeline first generates various counterspeech candidates by a generative model to promote diversity, then filters the ungrammatical ones using a BERT model, and finally selects the most relevant counterspeech response using a novel retrieval-based method. Extensive Experiments on three representative datasets demonstrate the efficacy of our approach in generating diverse and relevant counterspeech.

研究の動機と目的

• 既存のシーケンス・ツー・シーケンスモデルが、嫌がらせに対して多様かつ関連性のある対抗発言を生成する点で抱える制限を解決すること。
• 生成、フィルタリング、選択を別々の段階に分離することで、質の高い対抗発言を改善するスケーラブルでモジュラーなパイプラインを開発すること。
• 生成された応答が一般的で繰り返しになりやすく、関連性のない返答を避けることを保証するとともに、言語的品質を維持すること。
• 3つのベンチマークデータセットを用いた包括的な評価を通じて、パイプラインの有効性を実証すること。

提案手法

• 候補生成モジュールは、事前学習済みの生成モデルを用いて、各嫌がらせの入力に対して多様な対抗発言候補のプールを生成する。
• 候補フィルタリングモジュールは、微調整済みのBERTモデルを用いて、候補プール内から不文閑または低品質な応答を除外する。
• 応答選択モジュールは、嫌がらせとフィルタリング済み候補との間の意味的類似度を比較することで、最も関連性の高い対抗発言を選択する新しいリtrievalベースの手法を採用する。
• このパイプラインは、多様性のための生成、品質のためのフィルタリング、関連性のためのリtrievalベースの選択という、3つの明確な段階に分かれる。
• リtrievalベースの選択手法は、密度ベクトル表現を用いて、与えられた嫌がらせのインスタンスに対して最も文脈的に適切な対抗発言を特定する。

実験結果

リサーチクエスチョン

• RQ1 モジュラーなパイプライン手法は、エンド・ツー・エンドのシーケンス・ツー・シーケンスモデルと比較して、対抗発言の多様性と関連性を向上させることができるか？
• RQ2 BERTベースのフィルタリングは、生成された対抗発言候補の文法的品質をどの程度向上させることができるか？
• RQ3 リtrievalベースの選択は、嫌がらせに対して文脈的に適切な対抗発言を選択する点で、生成モデルを上回ることができるか？
• RQ4 自動評価および人的評価の指標において、GPSパイプラインは既存手法と比較してどのように異なるか？

主な発見

• GPSは、自動評価指標において、3つのベンチマークデータセットで多様性と関連性の両面で最先端の性能を達成した。
• 人的評価の結果、GPSが生成した応答は、ベースラインモデルと比較して有意に関連性が高く、繰り返しが少ないことが確認された。
• フィルタリングモジュールは、不文閑な応答を効果的に除去し、候補プール全体の品質を向上させた。
• リtrievalベースの選択手法は、文脈的に最も適切な対抗発言を効果的に同定し、話題から外れたり、関連性のない応答を削減した。