[論文レビュー] Bidirectional Recurrent Models for Offensive Tweet Classification

Aleix Cambray, Norbert Podsadowski|arXiv (Cornell University)|Mar 19, 2019

Hate Speech and Cyberbullying Detection参考文献 3被引用数 9

ひとこと要約

本論文は、主に双方向LSTMおよびGRUを用いた双方向再帰ニューラルネットワークアーキテクチャを提案し、攻撃的ツイートを3つのサブタスク（攻撃的／非攻撃的、標的付き／標的なし、標的タイプ：個人／組織／その他）に分類する。CNNやスプリット・マージアーキテクチャを含むより複雑なモデルを検討したが、最も単純な双方向LSTMが最高のパフォーマンスを示し、モデルの複雑さが必ずしも結果の向上を保証しないことを示している。

ABSTRACT

In this paper we propose four deep recurrent architectures to tackle the task of offensive tweet detection as well as further classification into targeting and subject of said targeting. Our architectures are based on LSTMs and GRUs, we present a simple bidirectional LSTM as a baseline system and then further increase the complexity of the models by adding convolutional layers and implementing a split-process-merge architecture with LSTM and GRU as processors. Multiple pre-processing techniques were also investigated. The validation F1-score results from each model are presented for the three subtasks as well as the final F1-score performance on the private competition test set. It was found that model complexity did not necessarily yield better results. Our best-performing model was also the simplest, a bidirectional LSTM; closely followed by a two-branch bidirectional LSTM and GRU architecture.

研究の動機と目的

• ソーシャルメディア、特にツイートにおける攻撃的言語の検出および分類のためのディープラーニングモデルの開発。
• 攻撃的ツイート分類タスクにおいて、モデルの複雑さを高めることでパフォーランスが向上するかどうかの調査。
• 広範なテキスト前処理がモデルの汎化性能およびパフォーマンスに与える影響の探求。
• 重み付き損失関数を用いた、攻撃的言語データセットにおけるクラス不均衡の緩和。
• 多段階分類の文脈で、biLSTM、biGRU、ハイブリッドモデルを含むさまざまなRNNアーキテクチャの有効性の評価。

提案手法

• 文脈的なツイート意味を捉えるために、双方向LSTMおよびGRUをコアなシーケンスモデリングコンponentsとして採用。
• 双方向LSTMとGRUのブランチを並列に処理し、表現を統合するスプリット・プロセス・マージアーキテクチャを設計。
• 単語埋め込みからの局所的n-gram特徴を抽出するために、RNNの前後または間に畳み込み層（CNN）を統合。
• URL、ユーザーメンション、HTMLエンティティ、ハッシュタグ、標点、数字、ストップワードの削除、小文字化、非ASCII文字の処理、アポストロフィーの展開、語長の正規化を含む広範なテキスト前処理を実施。
• 編集距離 ≤2 で高速な語の分割とスペル訂正を実現するため、SymSpellを活用。
• 特にタスクBおよびCで顕著なクラス不均衡を緩和するため、クラス重み付き交差エントロピー損失関数を適用。

実験結果

リサーチクエスチョン

• RQ1 CNNの追加やハイブリッドアーキテクチャの導入といったモデルの複雑さを高めることで、攻撃的ツイート分類のパフォーマンスが向上するか？
• RQ2 この特定のNLPタスクにおいて、双方向RNN（LSTM/GRU）は単純なアーキテクチャやより複雑なアーキテクチャと比較してどの程度有効か？
• RQ3 攻撃的言語検出の低リソース環境において、攻撃的なテキスト前処理はモデルパフォーマンスにどの程度向上効果をもたらすか？
• RQ4 クラス不均衡はモデルの学習および評価にどのような影響を及ぼし、効果的に緩和可能か？
• RQ5 この文脈において、スタンドアロンの双方向LSTMのような単純なモデルが、より複雑なモデルを上回る性能を示せるか？

主な発見

• 最も単純なモデル、すなわちスタンドアロンの双方向LSTMが、タスクA（攻撃的／非攻撃的）で最高の検証F1スコア0.7382を達成し、より複雑なアーキテクチャを上回った。
• 二本のブランチを持つ双方向LSTMとGRUのモデル（biGRU ⊕ biLSTM）が、タスクAで2番目に高いパフォーマンスを示し、検証F1スコアは0.7285を記録した。
• モデルの複雑さが一貫してパフォーマンス向上に繋がらないことが判明した。例えば、CNN- biLSTMモデルはタスクAでF1スコア0.6346にとどまり、ベースラインのbiLSTMより著しく低い結果となった。
• プライベートテストセットでは、最良のbiLSTMモデルがF1スコア0.77（タスクA）、0.64（タスクB）、0.52（タスクC）を達成し、データ制限にもかかわらず良好な汎化性能を示した。
• クラス不均衡は特にタスクBおよびCでモデルパフォーマンスに深刻な影響を及ぼしたが、クラス重み付き損失関数の適用により、多数クラスへの過剰予測が防止された。
• F1スコアはトレーニング中に著しく不安定で、しばしば振動し、精度や損失と相関が薄く、収束の難しさやハイパーパramータチューニングの課題を示唆した。