[論文レビュー] SemEval-2019 Task 6: Identifying and Categorizing Offensive Language in Social Media.

Andrei-Bogdan Puiu, Andrei-Octavian Brabete|arXiv (Cornell University)|Mar 2, 2019

Hate Speech and Cyberbullying Detection参考文献 6被引用数 8

ひとこと要約

本論文は、深層学習、SVM、ランダムフォレストを用いた、ソーシャルメディアにおける攻撃的言語の特定および分類のためのマルチステージアプローチを提示する。本研究では、攻撃的ツイートの検出、標的型か非標的型かの分類、標的の種別特定において、高い性能を達成しており、モデル設計およびツイートにおける微細な攻撃的言語の取り扱いという点で主な貢献を果たしている。

ABSTRACT

This short paper presents the design decisions taken and challenges encountered in completing SemEval Task 6, which poses the problem of identifying and categorizing offensive language in tweets. Our proposed solutions explore Deep Learning techniques, Linear Support Vector classification and Random Forests to identify offensive tweets, to classify offenses as targeted or untargeted and eventually to identify the target subject type.

研究の動機と目的

• ソーシャルメディア、特に短い非公式なテキスト（例：ツイート）における攻撃的言語を検出できるシステムの開発を目的とする。
• 検出された攻撃的コンテンツを、個人または団体を標的にする「標的型」と、一般化または特定されていない「非標的型」に分類することを目的とする。
• 標的型攻撃的言語における標的の種別（例：人種、性別、宗教など）を特定することを目的とする。
• 深層学習、SVM、ランダムフォレストを含む多様な機械学習手法の有効性を、このマルチクラス分類タスクにおいて評価することを目的とする。
• 短いテキストにおける曖昧さ、皮肉、文脈依存性といった、攻撃的言語検出の課題に対処することを目的とする。

提案手法

• マルチステージパイプラインを採用：まず攻撃的ツイートを特定し、次に標的型か非標的型かを分類し、最後に標的の種別を特定する。
• 深層学習モデルを用いて、ツイートテキストのシーケンスモデリングおよび表現学習を実施し、文脈的・意味的特徴を捉える。
• 線形サポートベクターマシン（SVM）を、高次元かつスパースな特徴空間で効果的に機能するため、二値分類および多値分類タスクに適用する。
• ランダムフォレストを、過学習に強く、テーブル形式または特徴工学によって得た特徴の非線形パターンを扱える点から活用する。
• 特徴工学にはn-gram、品詞タグ、語彙的特徴を含め、モデル性能の向上を図る。
• モデルはSemEval-2019 Task 6データセットを用いて学習・評価され、F1スコアやマクロ平均F1スコアといった標準指標が使用された。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、短いソーシャルメディアテキストにおける攻撃的言語検出にどの程度効果的か？
• RQ2 ランダムフォレストやSVMといったアンサンブル手法は、ベースラインモデルに比べて分類性能を向上させられるか？
• RQ3 攻撃的コンテンツが標的型か非標的型かに正確に分類できるか？
• RQ4 モデルは攻撃的ツイートにおける標的の具体的な種別をどの程度正確に特定できるか？
• RQ5 攻撃的言語をモデリングするにあたり、主な課題は何か？また、異なるアーキテクチャはそれらをどのように対処しているか？

主な発見

• 深層学習と従来の機械学習モデルの組み合わせが、攻撃的言語検出タスクにおいて強力な性能を発揮した。
• 線形SVMとランダムフォレストは、標的型 vs. 非標的型分類ステージにおいて特に優れた結果を示した。
• マルチステージアプローチにより、各分類レベルで焦点を当てたモデリングが可能となり、全体のF1スコアが向上した。
• 文脈モデリングを通じて、皮肉や間接的な標的化を含む微細な攻撃的言語を効果的に捉えることができた。
• 特徴工学が、特に標的の種別特定においてモデル性能を顕著に向上させた。
• 本タスクから、文脈および言語的手がかりが、攻撃的言語の正確な分類に不可欠であることが明らかになった。