[論文レビュー] Neural Word Decomposition Models for Abusive Language Detection

Sravan Bodapati, Spandana Gella+2 more|arXiv (Cornell University)|Jan 1, 2019

Hate Speech and Cyberbullying Detection参考文献 34被引用数 2

ひとこと要約

本稿は、有害な言語検出のため、微調整されたBERTと事前学習済み埋め込みを組み合わせたニューラル語彙分解モデル（文字レベル、サブワード（BPE）、ハイブリッドな語+文字）を調査している。Wikipediaの攻撃的・有害性データセットにおいて、BERTの微調整が最先端の性能を達成しており、BERTのサブワードトークン化がfastText や TextCNN といった語ベースのモデルの性能を顕著に向上させ、独自に学習したBPEモデルを上回っていることが示された。

ABSTRACT

User generated text on social media often suffers from a lot of undesired characteristics including hatespeech, abusive language, insults etc. that are targeted to attack or abuse a specific group of people. Often such text is written differently compared to traditional text such as news involving either explicit mention of abusive words, obfuscated words and typological errors or implicit abuse i.e., indicating or targeting negative stereotypes. Thus, processing this text poses several robustness challenges when we apply natural language processing techniques developed for traditional text. For example, using word or token based models to process such text can treat two spelling variants of a word as two different words. Following recent work, we analyze how character, subword and byte pair encoding (BPE) models can be aid some of the challenges posed by user generated text. In our work, we analyze the effectiveness of each of the above techniques, compare and contrast various word decomposition techniques when used in combination with others. We experiment with finetuning large pretrained language models, and demonstrate their robustness to domain shift by studying Wikipedia attack, toxicity and Twitter hatespeech datasets

研究の動機と目的

• ノイズが多く、ユーザー生成のソーシャルメディアテキストにおける有害な言語、特に隠ぺいされた語や暗黙のステレオタイプを検出する課題に対処すること。
• 従来の語ベースのモデルと比較して、文字レベル、サブワード（BPE）、ハイブリッドな語+文字モデルの有効性を評価すること。
• 標準的なテキストとは異なるドメインに移行する際、BERTのような大規模な事前学習済み言語モデルが有害な言語検出に頑健に一般化できるかを調査すること。
• 特にBERTのWordPieceトークン化が、有害な言語データセットにおける語ベースのモデルの性能をどの程度向上させるかを検討すること。

提案手法

• Wikipediaの攻撃的・有害性データセットでBERTを微調整し、ドメインシフトに対する転送性と頑健性を評価する。
• 語ベースのモデル（fastText、TextCNN）の入力テキストに事前処理としてBERTのWordPieceトークン化を適用し、サブワード表現を活用する。
• エンドツーエンドの文字レベルモデルを学習し、語+文字埋め込みモデルと比較することで表現学習の能力を評価する。
• W-ATTおよびW-TOXデータセット上で学習した独自のBPEモデルを用意し、BERTの事前学習済みBPEと性能とサブワード品質の面で比較する。
• 複数のデータセット（Twitter hatespeech、Wikipedia toxicity、attack）において、マクロF1スコアを主評価指標として用いる。
• 語ベースのモデルの失敗事例と、BERT-WordPieceトークン化モデルの成功事例を定性的に分析し、サブワード表現の有用性を理解する。

実験結果

リサーチクエスチョン

• RQ1 BPEやWordPieceによるサブワードレベルのモデリングは、純粋な語レベルや文字レベルのモデルと比較して、有害な言語検出性能を向上させるか？
• RQ2 標準的で非有害なテキストで事前学習されたが、微調整されたBERTモデルは、有害な言語検出において最先端の性能を達成できるか？
• RQ3 有害なテキストで学習した独自のBPEモデルと比較して、BERTの事前学習済みサブワードトークン化は、性能とサブワード品質の面で優れているか？
• RQ4 BERTのサブワード表現は、fastText や TextCNN といった語ベースのモデルの性能をどの程度向上させるか？
• RQ5 隠ぺいされたまたはノイズの多い有害な言語を検出する際、文字レベルのモデルはサブワードモデルを上回る性能を示せるか？

主な発見

• Wikipediaの攻撃的・有害性データセットでBERTを微調整することで、最先端のマクロF1スコアが達成され、ドメインシフトに対する強い頑健性が示された。
• BERTのWordPieceトークン化は、語ベースのモデル（fastText および TextCNN）の性能を顕著に向上させ、独自のBPEモデルや標準的な語レベルモデルを上回った。
• サブワードモデル（特にBERTのWordPiece）はエンドツーエンドの文字ベースモデルを上回り、ノイズの多いテキストにおいても語境界情報が依然として価値を持つことを示した。
• 有害なテキストで学習した独自のBPEモデルは、BERTの事前学習済みBPEと比較して性能が低下した。これは、事前学習済みサブワード単位がより情報が多く、一般化性に優れていることを示唆している。
• TextCNNモデルに文字埋め込みを追加することで、語ベースのCNN単体と比較してわずかな性能向上が得られたが、サブワードベースのアプローチには及ばなかった。
• 定性的な分析により、BERTのWordPieceが有害語（例：'nlgg3r'）を意味のあるサブワードに適切に分割でき、語ベースのモデルよりも検出性能が優れていることが確認された。