[論文レビュー] Constructing interval variables via faceted Rasch measurement and multitask deep learning: a hate speech application

Chris J. Kennedy, Geoff Bacon+2 more|arXiv (Cornell University)|Sep 22, 2020

Hate Speech and Cyberbullying Detection参考文献 55被引用数 35

ひとこと要約

本論文は、faceted Rasch item response theoryとmultitask deep learningを組み合わせ、ordinal survey itemsとテキストデータからの偏りのない予測を用いて、hate speech の連続区間測定を構築する方法を提示する。

ABSTRACT

We propose a general method for measuring complex variables on a continuous, interval spectrum by combining supervised deep learning with the Constructing Measures approach to faceted Rasch item response theory (IRT). We decompose the target construct, hate speech in our case, into multiple constituent components that are labeled as ordinal survey items. Those survey responses are transformed via IRT into a debiased, continuous outcome measure. Our method estimates the survey interpretation bias of the human labelers and eliminates that influence on the generated continuous measure. We further estimate the response quality of each labeler using faceted IRT, allowing responses from low-quality labelers to be removed. Our faceted Rasch scaling procedure integrates naturally with a multitask deep learning architecture for automated prediction on new data. The ratings on the theorized components of the target outcome are used as supervised, ordinal variables for the neural networks' internal concept learning. We test the use of an activation function (ordinal softmax) and loss function (ordinal cross-entropy) designed to exploit the structure of ordinal outcome variables. Our multitask architecture leads to a new form of model interpretation because each continuous prediction can be directly explained by the constituent components in the penultimate layer. We demonstrate this new method on a dataset of 50,000 social media comments sourced from YouTube, Twitter, and Reddit and labeled by 11,000 U.S.-based Amazon Mechanical Turk workers to measure a continuous spectrum from hate speech to counterspeech. We evaluate Universal Sentence Encoders, BERT, and RoBERTa as language representation models for the comment text, and compare our predictive accuracy to Google Jigsaw's Perspective API models, showing significant improvement over this standard benchmark.

研究の動機と目的

• 複雑な社会的構成概念を二値ラベルではなく連続的な区間変数として測定する動機。
• 人間のラベリングの偏りを低減し、スケーラブルな予測フレームワーク内でラベラー品質を推定する目標。
• Raschベースの測定と深層学習を統合して、偏りのない、解釈可能な予測を行うこと。

提案手法

• hate speechを8つの理論的要素に分解し、 ordinalサーベイ項目でラベル付けする。
• faceted Rasch測定理論を用いて、複数項目の順序ラベルを連続区間スケールへ変換する。
• テキストから潜在的要素を予測する共有重みを持つマルチタスク深層学習モデルを訓練する。
• ターゲットの順序構造を活用するために、ordinal softmax活性化とordinal cross-entropy損失を用いる。
• 予測に対してpartial credit IRT変換を適用してもっともらしい値スコアを得る。
• レビュアーのラベラー偏りを推定して低品質な回答をフィルタリングし、偏りを低減する。

実験結果

リサーチクエスチョン

• RQ1 faceted Raschフレームワークと監視付き深層学習を組み合わせて、hate speechを連続スペクトルとしてモデル化できるか。
• RQ2 ラベラー偏りを低減させることは、連続 hate speech スコアの精度と信頼性を改善するか。
• RQ3 マルチタスクアーキテクチャは構成要素と連携する解釈可能な連続予測を提供できるか。
• RQ4 順序付けられた活性化と損失関数は、ordinal targetsの予測を標準的なアプローチより改善するか。
• RQ5 この方法はGoogle JigsawのPerspective APIなどの既存ベンチマークと比較してどう評価されるか。

主な発見

• 本手法は、8つの理論的レベルと32–48のラベリング項目に基づく連続的なhate speechスケールを生み出す。
• YouTube、Twitter、Redditでクラウドワーカー10,000人がラベル付けした50,000コメントのデータセットを構築。
• このアプローチはタスクの予測精度においてPerspective APIより有意な改善を示す。
• faceted Raschスケーリングは、ラベラーとコメントの偏りを抑えた不変の測定を提供する。
• マルチタスクモデルは、前層のペンultimate層で各連続スコアを構成要素に結びつけることで、解釈可能な予測を提供する。