[論文レビュー] LSTMs with Attention for Aggression Detection

Nishant Nikhil, Ramit Pahwa+2 more|arXiv (Cornell University)|Jul 16, 2018

Hate Speech and Cyberbullying Detection参考文献 15被引用数 13

ひとこと要約

本論文は、順序付きモデリングと動的単語重要度重み付けを活用して、ソーシャルメディアのテキストにおける攻撃的発言検出のためのLSTMに注目メカニズムを組み合わせた手法を提案する。TRAC 2018共有タスクにおいて、ヒンディー語のサブタスクで6位および4位、英語のサブタスクで17位および10位を達成し、最小限の特徴工学で優れた性能を示した。

ABSTRACT

In this paper, we describe the system submitted for the shared task on Aggression Identification in Facebook posts and comments by the team Nishnik. Previous works demonstrate that LSTMs have achieved remarkable performance in natural language processing tasks. We deploy an LSTM model with an attention unit over it. Our system ranks 6th and 4th in the Hindi subtask for Facebook comments and subtask for generalized social media data respectively. And it ranks 17th and 10th in the corresponding English subtasks.

研究の動機と目的

• ソーシャルメディアコンテンツ、特にFacebookのコメントや一般のソーシャルメディアテキストにおける攻撃的発言の分類のためのニューラルネットワークモデルを開発すること。
• 短く非公式なテキストにおける明示的および暗黙的攻撃的言語を検出する課題に対処すること。
• LSTMによる順序的理解と注目メカニズムによる顕著な語の注目を組み合わせることで分類性能を向上させること。
• 多言語（英語およびヒンディー語）のデータ、Facebookおよび一般のソーシャルメディアコンテンツを含む共有タスク上でモデルを評価すること。

提案手法

• 100次元の単語埋め込み層に続き、正則化のためのドロップアウト層を適用する。
• 100個の隠れユニットを持つLSTM層が、ゲート付きメモリセルを通じて長期依存関係を捉える。
• 学習された重みベクトルを用いて、注目メカニズムが語レベルの重要度スコアを計算し、重み付けされたコンテキストベクトルを生成する。
• 注目メカニズムの出力を、ソフトマックス活性化関数を用いた全結合層に通し、クラス確率を予測する。
• Adam最適化アルゴリズムを用い、学習率0.001、カテゴリカル交差エントロピー損失でモデルを学習する。
• テキスト前処理には、Ekphrasisを用いたURL、メールアドレス、特殊トークンの正規化、ソーシャルメディア用トークン化、標点記号の除去、スペル補正、語形還元が含まれる。

実験結果

リサーチクエスチョン

• RQ1 LSTMに注目メカニズムを組み合わせたモデルは、短い形式で非公式なソーシャルメディアテキストにおける攻撃的発言を効果的に検出できるか？
• RQ2 注目メカニズムは、明示的攻撃的、暗黙的攻撃的、非攻撃的コンテンツを区別するモデルの能力をどのように向上させるか？
• RQ3 ドロップアウト率とシーケンス長は、モデルの一般化性能にどのような影響を与えるか？
• RQ4 手動で作成された特徴量を用いた従来の分類器（例：ランダムフォレスト）と比較して、本手法はどのように優れているか？

主な発見

• ヒンディー語のFacebookサブタスクにおいて、重み付きF1スコア0.6032を達成し、20チーム中6位となった。
• ヒンディー語の一般ソーシャルメディアサブタスクでは、F1スコア0.4703を記録し、20チーム中4位となった。
• 英語のFacebookサブタスクでは、F1スコア0.5548を達成し、17位となった。これはランダムベースライン（0.3535）より顕著に向上した。
• 非攻撃的と攻撃的コンテンツの区別において、モデルは最も優れた性能を示したが、明示的および暗黙的攻撃的コメントの分類には苦戦した。
• ドロップアウト率を0.3に引き上げることで一般化性能が向上し、英語のソーシャルメディアタスクでF1スコアが0.5304から0.5548に上昇した。
• 注目メカニズムにより、モデルは重要な語に注目することができ、手動特徴量に依存するベースラインモデルよりも性能が向上した。