[論文レビュー] UM-IU@LING at SemEval-2019 Task 6: Identifying Offensive Tweets Using BERT and SVMs

Jian Zhu, Zuoyu Tian+1 more|arXiv (Cornell University)|Apr 6, 2019

Hate Speech and Cyberbullying Detection参考文献 25被引用数 7

ひとこと要約

本論文は、SemEval-2019 タスク6における攻撃的ツイート検出のためのハイブリッドアプローチを提示する。サブタスクAでは、微調整されたBERTを用いた二値攻撃的コンテンツ検出を行い、サブタスクCでは、文字n-gramを用いた線形SVMによる嫌がらせの標的の分類を実施した。システムはサブタスクAでマクロF1スコア0.8136（103件中3位）を達成し、サブタスクCでは0.5243（65件中27位）を記録した。これは、微細な意味的ニュアンスを捉えることや、少数クラスの標的に対してデータスパarsityに対処するという課題がある中でも、強力な性能を示している。

ABSTRACT

This paper describes the UM-IU@LING's system for the SemEval 2019 Task 6: OffensEval. We take a mixed approach to identify and categorize hate speech in social media. In subtask A, we fine-tuned a BERT based classifier to detect abusive content in tweets, achieving a macro F1 score of 0.8136 on the test data, thus reaching the 3rd rank out of 103 submissions. In subtasks B and C, we used a linear SVM with selected character n-gram features. For subtask C, our system could identify the target of abuse with a macro F1 score of 0.5243, ranking it 27th out of 65 submissions.

研究の動機と目的

• ソーシャルメディア、特にツイートにおける嫌がらせ言語を検出するための強固な計算システムの開発。
• 微妙な意味的違いを伴う文脈依存的でノイズの多いソーシャルメディアのテキストにおいて、攻撃的コンテンツを検出する課題への対処。
• 特に少数クラスに対してデータスパarsityが生じる中で、攻撃的言語の標的（個人、団体、その他）をより正確に特定する能力の向上。
• 事前学習言語モデル（例：BERT）と従来の分類器（例：SVM）を用いた攻撃的言語検出タスクにおける有効性の評価。
• BERTが文脈的ニュアンスを捉えることにおける限界と、特徴工学がリソースが限られた状況下でのSVM性能に与える影響の調査。

提案手法

• サブタスクAの二値分類に、全トレーニングデータを用いて微調整されたBERT-baseモデルを適用し、攻撃的ツイート対非攻撃的ツイートの検出を実施。
• BERTがデータスパarsityやハイパーパramータ感受性のため性能を発揮できなかったため、サブタスクBおよびCには線形SVMと文字n-gram特徴量を採用。
• SVMの主な特徴量として文字n-gramを選択し、性能向上のため、言語的特徴、絵文字、エンティティ特徴を追加で実験。
• 最終提出前に、試験データを用いたハイパーパramータチューニングとモデル検証を実施し、最適な特徴量構成を選定。
• 混合手法を採用：サブタスクAでは文脈に依存する表現をBERTで処理し、サブタスクBおよびCではカテゴリ分類に表面的特徴量を用いたSVMを適用。
• 誤分類例のエラー解析を実施し、個人対団体の標的を区別できないことや、曖昧なエンティティを処理できないといった失敗モードを特定。

実験結果

リサーチクエスチョン

• RQ1 微調整されたBERTは、侮辱と一般的な否定的表現の間で微妙な文脈的意味の違いがある状況でも、攻撃的ツイートを効果的に検出できるか？
• RQ2 なぜBERTはサブタスクAと比較してサブタスクBおよびCで性能を発揮できないのか。データスパarsityやハイパーパramータ感受性といった要因がその要因であるか？
• RQ3 線形SVMに文字n-gram特徴量を組み合わせることで、個人、団体、その他といった攻撃的言語の標的を分類する際、ベースラインモデルをどれほど上回れるか？
• RQ4 絵文字、言語的手がかり、固有表現（Named Entities）といった追加特徴量は、サブタスクCにおけるSVMの性能にどのように影響を与えるか？
• RQ5 複数の潜在的標的や曖昧な参照がある場合、特に複数の個人が攻撃対象となっている、または「Church」という語が誤ってOTHラベルを引き起こすような状況で、システムの主な失敗モードは何か？

主な発見

• BERTベースの分類器はサブタスクAでマクロF1スコア0.8136を達成し、103件中3位という強力な性能を示した。
• 文字n-gram特徴量を用いたSVMはサブタスクCでマクロF1スコア0.5243を記録し、65件中27位にランクインし、ベースラインモデルを顕著に上回った。
• 個人標的（IND）の識別では最も良好に機能し、団体標的（GRP）では中程度の効果を示し、少数クラス（OTH）では最も困難を示した。これはデータスパarsityの問題を示している。
• 言語的および絵文字特徴量の追加により、文字n-gramモデルのマクロF1と正答率がわずかに向上したが、エンティティ特徴量の統合は性能の低下を引き起こした。
• エラー解析の結果、複数の標的や曖昧な参照があるツイートを誤って分類する傾向があり、特に複数の個人が攻撃対象となっている場合や、「Church」という語が誤ってOTHに分類されるケースが顕著に見られた。
• 攻撃的言語のキーワードを文脈で捉える能力は高いが、攻撃的意図と一般的な否定的表現の区別がつかず、文化的・政治的に敏感な文脈では特に困難を示した。