[論文レビュー] ToKen: Task Decomposition and Knowledge Infusion for Few-Shot Hate Speech Detection

Badr AlKhamissi, Faisal Ladhak+8 more|arXiv (Cornell University)|May 25, 2022

Hate Speech and Cyberbullying Detection被引用数 4

ひとこと要約

この論文では、有害発言検出を部分的タスク（攻撃性、標的となるグループの特定）に分解し、ATOMIC²⁰とStereoSetで微調整することで一般常識を統合する、few-shot有害発言検出手法TOKENを提案する。16ショット設定においてベースラインモデル比で17.83%のF1絶対値上昇を達成し、分布外データセットや訓練の変種に対して一般化性能とロバスト性が向上している。

ABSTRACT

Hate speech detection is complex; it relies on commonsense reasoning, knowledge of stereotypes, and an understanding of social nuance that differs from one culture to the next. It is also difficult to collect a large-scale hate speech annotated dataset. In this work, we frame this problem as a few-shot learning task, and show significant gains with decomposing the task into its "constituent" parts. In addition, we see that infusing knowledge from reasoning datasets (e.g. Atomic2020) improves the performance even further. Moreover, we observe that the trained models generalize to out-of-distribution datasets, showing the superiority of task decomposition and knowledge infusion compared to previously used methods. Concretely, our method outperforms the baseline by 17.83% absolute gain in the 16-shot case.

研究の動機と目的

• ラベル付きデータが限られるfew-shot有害発言検出の課題に対処すること。
• 攻撃性とグループ標的化という解釈可能な部分タスクに有害発言検出を分解することで、モデル性能とロバスト性を向上させること。
• ATOMIC²⁰とStereoSetでの事前微調整により一般常識およびステレオタイプ知識を注入することで、モデルの推論能力を強化すること。
• 分布外データセットへの一般化と、データ分割およびハイパーパramータの変動に対するロバスト性を評価すること。
• 部分タスクでの失敗モードを分離し、個別に改善できるようにすることで、より説明可能なシステムを実現すること。

提案手法

• モデルは有害発言検出を2つの部分タスクに分解する：投稿が攻撃的かどうかの分類、およびグループが標的にされているかどうかの特定。
• BART-Largeモデルは、一般常識的推論を注入するためにATOMIC²⁰データセットで事前微調整され、ステレオタイプの知識を向上させるためにStereoSetで微調整される。
• 最終的なモデルは、部分タスク固有のヘッドを備えた条件付き生成フレームワークを用いてSBICデータセットでエンドツーエンド学習が行われる。
• 性能は10個のランダムシードで評価され、16から1024例までの少数ショット学習セットをストラティファイドサンプリングで取得する。
• 一般化性能は3つの分布外有害発言データセットでテストされ、ロバスト性はシード、データ分割、ハイパーパramータの分散を用いて測定される。
• 部分タスクレベルのパフォーマンスを分離することで、モデルの解釈可能性が向上し、特定の改善が可能になる。

実験結果

リサーチクエスチョン

• RQ1 攻撃性とグループ標的化という部分タスクにタスクを分解することで、few-shot有害発言検出のパフォーマンスが向上するか？
• RQ2 ATOMIC²⁰とStereoSetという推論およびステレオタイプ知識データセットで事前微調整することで、few-shot設定におけるモデルパフォーマンスが向上するか？
• RQ3 タスク分解と知識統合を用いて訓練されたモデルは、エンドツーエンド二値分類ベースラインと比較して、分布外有害発言データセットへの一般化性能が優れているか？
• RQ4 タスク分解と知識統合を用いる場合、異なるランダムシード、データ分割、ハイパーパramータにおけるモデルパフォーマンスの分散はどのように変化するか？
• RQ5 部分タスクレベルの分析は、失敗モードを特定し、全体の有害発言検出における特定の改善を導くことができるか？

主な発見

• TOKENは16ショット設定においてベースライン比で17.83%のF1絶対値上昇を達成し、タスク分解と知識統合による顕著な性能向上を示している。
• 3つの分布外有害発言データセットへの一般化性能が向上しており、より高いロバスト性と転送性を示している。
• 10個のシード、データパーティショニング、ハイパーパramータの分散において、TOKENモデルのパフォーマンス分散が顕著に低く抑えられており、より高いロバスト性を示している。
• 部分タスクレベルの分析から、グループ検出のようなボトルネックを特定し、それらに焦点を当てた改善が全体のモデルパフォーマンスに明確な向上をもたらすことがわかった。
• ATOMIC²⁰とStereoSetでの微調整により、推論能力とステレオタイプ理解が向上し、それが有害発言検出の向上に直接寄与している。
• 部分タスクレベルでの分析を可能にすることで、失敗要因を特定し、モデル行動を解釈可能かつ修正可能にするという、より説明可能なシステムの実現が可能になった。