[論文レビュー] An Exploration of State-of-the-art Methods for Offensive Language Detection

Harrison Uglow, Martin Zlocha+1 more|arXiv (Cornell University)|Mar 15, 2019

Hate Speech and Cyberbullying Detection参考文献 9被引用数 7

ひとこと要約

この論文は、OLIDデータセットにおける攻撃的言語検出の最先端手法を評価し、従来の特徴工学とディープラーニングモデルを比較している。BERTとファインチューニングされたFastTextがCNNやLSTMを上回り、BERTはタスクA（攻撃的言語検出）のテストセットで最高のマクロF1スコア0.786を達成した。一方、単純な特徴融合手法も強く性能を示した。

ABSTRACT

We provide a comprehensive investigation of different custom and off-the-shelf architectures as well as different approaches to generating feature vectors for offensive language detection. We also show that these approaches work well on small and noisy datasets such as on the Offensive Language Identification Dataset (OLID), so it should be possible to use them for other applications.

研究の動機と目的

• OLIDのような小規模でノイズの多いデータセットにおける、さまざまな特徴工学的手法およびディープラーニングアプローチの有効性を評価すること。
• 従来の機械学習モデル（例：ランダムフォレスト、ロジスティック回帰）とエンドツーエンドのディープラーニングアーキテクチャ（CNN、LSTM、BERT、FastText）を比較すること。
• 事前学習された単語埋め込み（Word2Vec、FastText）が、ツイートレベルの攻撃的言語検出にどれほど一般化できるかを調査すること。
• ハイパーパrameterチューニングとモデルアーキテクチャの影響が、攻撃的分類、標的付き／非標的攻撃の区別、標的特定の3つのサブタスク全体に与える影響を特定すること。
• リソースが限られたノイズの多い環境における攻撃的言語検出に、最も頑健で一般化可能なモデルを同定すること。

提案手法

• 攻撃的分類（タスクA）、標的付き／非標的攻撃の区別（タスクB）、標的識別（個人対グループ）（タスクC）の3つのサブタスクを有するOLIDデータセットを使用した。
• 文字の小文字正規化、短縮語の展開、アルファベット・数字以外の文字（句読点を除く）の削除、ユーザーネーム／URLのプレースホルダへの置換によってツイートを前処理した。
• 攻撃的語、肯定的語、否定的語のカウントと、ツイート長で正規化したバージョンに基づくナイーブな特徴ベクトルを生成した。
• 学習データ上でWord2Vec埋め込みを訓練し、文レベルのベクトルを作成するために平均化、マックスプーリング、その他の集約手法を試した。
• 可学習埋め込みを使用し、3つの並列畳み込み層（フィルターサイズ3, 4, 5）、マックスプーリング、ドロップアウト、ソフトマックス出力層を備えたCNNを実装した。
• CNNと類似したアーキテクチャを持つLSTMモデルを構築し、畳み込み後にマックスプーリングの代わりに双方向LSTM層を配置し、検証F1スコアに基づく早期停止を適用した。
• ハイパーパrameter（学習率、エポック数、n-gramサイズ、ベクトル次元数）をランダムサーチで最適化し、ドメインの不一致を避けるために事前学習済みベクトルを避けて、FastTextおよびBERTモデルをファインチューニングした。
• 検証セットおよびテストセットでのマクロF1スコアを用いてモデルを評価し、検証性能に基づく早期停止とモデル選択を実施した。

実験結果

リサーチクエスチョン

• RQ1 小規模でノイズの多いデータセットにおける攻撃的言語検出において、手作業で作成した特徴ベクトル（例：語のカウント）と学習された埋め込み（例：Word2Vec）の性能は、どのように比較されるか？
• RQ2 特徴工学を施した従来の機械学習モデル（例：ランダムフォレスト、ロジスティック回帰）は、エンドツーエンドのディープラーニングアーキテクチャ（CNN、LSTM）をどれほど上回るのか？
• RQ3 Wikipediaなどから得た事前学習された単語埋め込みが、ドメインのシフトを考慮すると、ソーシャルメディアのテキストにおける攻撃的言語検出にどれほど有効か？
• RQ4 CNN、LSTM、FastText、BERTの中から、3つの攻撃的言語検出サブタスク全体にわたってテストセットで最も一般化性能が高いのはどれか？
• RQ5 検証データ上で広範なハイパーパrameterチューニングが行われた場合、特に高速に学習可能なFastTextのようなモデルでは、過学習が生じるおそれがあるか？

主な発見

• BERTはタスクA（攻撃的言語検出）のテストセットで最高のマクロF1スコア0.786を達成し、他のすべてのモデルを上回った。
• FastTextはタスクB（標的付き／非標的攻撃の区別）でマクロF1スコア0.687、タスクC（標的識別）で0.561を記録し、標的付き攻撃検出において優れた性能を示した。
• CNNモデルはタスクAでテストF1スコア0.735、タスクBで0.470、タスクCで0.457を記録し、中程度の性能を示したが、タスクBへの一般化には失敗した。
• LSTMモデルはCNNより性能が低く、タスクAではテストF1スコア0.753、タスクBでは0.330にとどまり、標的付き攻撃サブタスクでの学習が不十分であることが示された。
• ナイーブな特徴（語のカウント）とWord2Vec埋め込みを組み合わせることで、単体の手法よりも性能が向上し、最良の結果（F1 0.668）はStackingCVClassifierで達成された。
• FastTextは検証セットでの性能（タスクAでF1 0.785）がテストセット（F1 0.707）よりも高かったため、検証セットでの広範なハイパーパrameterチューニングによる過学習の兆候が示された。