[論文レビュー] RiTUAL-UH at TRAC 2018 Shared Task: Aggression Identification

Niloofar Safi Samghabadi, Deepthi Mave+2 more|arXiv (Cornell University)|Jul 31, 2018

Hate Speech and Cyberbullying Detection参考文献 14被引用数 16

ひとこと要約

本論文は、英語およびヒンディ語のソーシャルメディアテキストにおける攻撃的度の分類—非攻撃的、明示的攻撃的、隠れ攻撃的—を、語彙的および意味的特徴を用いて行うシステムを提示する。英語では、TF-IDF重み付きn-gram、単語埋め込み、感情分析、LIWC特徴の組み合わせが、F1スコア0.5921（Facebook）および0.5663（ソーシャルメディア）を達成した。ヒンディ語では、語彙的特徴（n-gram、TF-IDF）のみが他の特徴を上回り、F1スコア0.6292（Facebook、1位）および0.4853（ソーシャルメディア、2位）を達成した。

ABSTRACT

This paper presents our system for "TRAC 2018 Shared Task on Aggression Identification". Our best systems for the English dataset use a combination of lexical and semantic features. However, for Hindi data using only lexical features gave us the best results. We obtained weighted F1- measures of 0.5921 for the English Facebook task (ranked 12th), 0.5663 for the English Social Media task (ranked 6th), 0.6292 for the Hindi Facebook task (ranked 1st), and 0.4853 for the Hindi Social Media task (ranked 2nd).

研究の動機と目的

• 多言語のソーシャルメディアコンテンツ向けに、頑健な攻撃的行動同定システムの開発を目的とする。特に英語およびヒンディ語に焦点を当てる。
• ノイズが多く、非公式なオンラインテキストにおいて、明示的攻撃的、隠れ攻撃的、非攻撃的コメントを区別する課題に対処すること。
• 語彙的、意味的、感情分析、語彙ベースの特徴の種別が、異なる言語およびプラットフォーム環境で分類性能に与える影響を評価すること。
• 英語では成功を収めるが、ヒンディ語では意味的および感情分析特徴が語彙的特徴に劣る理由を調査すること。
• 誤分類例における特徴の重要度および誤分類パターンの分析を通じて、分類性能の向上を図ること。

提案手法

• 語彙的特徴抽出のため、unigram、bigram、trigram、文字n-gram（3–5）、スイープグラム（k=2, n=2,3）にTF-IDF重み付けを適用した。
• 英語では、事前学習済みのGoogle News単語埋め込み（300次元）を用い、コメントごとに単語ベクトルの平均を計算した。カバレッジは63%であった。
• 感情分析分布の平均および標準偏差を抽出するために、Stanford Sentiment Analysisツールを統合した。
• LIWC2007を用いて、肯定的・否定的感情および自己言及関連語の正規化済みカウントを抽出した。
• コードミックスされたヒンディ語-英語データを処理するため、自社開発のCRFベースの言語識別システムを用い、F1加重スコア97%を達成した。
• 一貫性のある処理を実現するため、インド文字（デヴァナガリ）で書かれたヒンディ語テキストをindic-transツールを用いてラテン文字に表記変換した。

実験結果

リサーチクエスチョン

• RQ1 語彙的、意味的、感情分析、語彙ベースの特徴の異なる組み合わせが、英語およびヒンディ語における攻撃的分類性能に与える影響は何か？
• RQ2 英語では意味的および感情分析特徴が成功を収める一方、ヒンディ語データでは純粋な語彙的特徴がハイブリッドモデルを上回る理由は何か？
• RQ3 明示的な嫌がらせ語を含まない場合でも、特に隠れ攻撃的コメントを特定する上で、最も特徴的な特徴は何か？
• RQ4 トレーニングセットおよびテストセットにおけるラベル分布の不均衡が、モデルの一般化性能および性能に与える影響は何か？
• RQ5 コードミックスおよび多言語インスタンスは、英語とヒンディ語の攻撃的検出性能の差を生じさせる要因として果たす役割は何か？

主な発見

• 英語Facebookタスクでは、重み付きF1スコア0.5921を達成し、20チーム中12位であった。
• 英語ソーシャルメディアタスクでは、重み付きF1スコア0.5663を達成し、20チーム中6位であった。
• ヒンディ語Facebookタスクでは、重み付きF1スコア0.6292を達成し、19チーム中1位であった。
• ヒンディ語ソーシャルメディアタスクでは、重み付きF1スコア0.4853を達成し、19チーム中2位であった。
• 交差誤分類行列の分析から、特に英語において、非攻撃的（NAG）例が隠れ攻撃的（CAG）に誤分類される傾向が強く、CAG例における嫌がらせ語の使用頻度が低いためであることが判明した。
• ヒンディ語においては、CAGの上位特徴が嫌がらせ語および攻撃的語の文字trigramであった一方、NAG例では中立的な英語語彙が支配的であり、クラス間での特徴の明確な分離が確認された。