[論文レビュー] A New Generation of Perspective API: Efficient Multilingual Character-level Transformers

Alyssa Lees, Vinh Q. Tran+5 more|arXiv (Cornell University)|Feb 22, 2022

Hate Speech and Cyberbullying Detection被引用数 8

ひとこと要約

本稿では、学習可能トークナイザーとCharformerアーキテクチャを用いた多言語・文字レベルのトランスフォーマーモデルであるUnified Toxic Content Classification (UTC) を紹介する。このモデルは、多様な言語や攻撃的言語パターンにおける効率的で生産環境対応の可能なトキシックコンテンツ検出を可能にする。UTCは、多言語ベンチマークにおいて強力なベースライン（マルチリンガル BERT や mT5）を上回る性能を発揮する一方で、パラメータ効率性が10倍高く、コードスイッチィング、隠蔽、絵文字ベースの攻撃的表現に対しても強力である。

ABSTRACT

On the world wide web, toxic content detectors are a crucial line of defense against potentially hateful and offensive messages. As such, building highly effective classifiers that enable a safer internet is an important research area. Moreover, the web is a highly multilingual, cross-cultural community that develops its own lingo over time. As such, it is crucial to develop models that are effective across a diverse range of languages, usages, and styles. In this paper, we present the fundamentals behind the next version of the Perspective API from Google Jigsaw. At the heart of the approach is a single multilingual token-free Charformer model that is applicable across a range of languages, domains, and tasks. We demonstrate that by forgoing static vocabularies, we gain flexibility across a variety of settings. We additionally outline the techniques employed to make such a byte-level model efficient and feasible for productionization. Through extensive experiments on multilingual toxic comment classification benchmarks derived from real API traffic and evaluation on an array of code-switching, covert toxicity, emoji-based hate, human-readable obfuscation, distribution shift, and bias evaluation settings, we show that our proposed approach outperforms strong baselines. Finally, we present our findings from deploying this system in production.

研究の動機と目的

• 多様な言語、分野、攻撃的言語パターンにわたって効果的に機能する統合的で多言語対応のトキシックコンテンツ分類器を開発すること。
• コードスイッチィング、隠蔽、多言語間一般化の課題を抱える単言語およびサブワードベースのモデルの限界を克服すること。
• 静的語彙の必要性を排除し、ハードウェアアクセcelerationに最適化することで、生産環境における文字レベルモデルの効率的で低遅延の推論を可能にすること。
• 複数の単言語モデルを1つの言語に依存しないアーキテクチャに統合することで、モデル保守の負担を軽減すること。
• 誤った攻撃的表現、誤字、絵文字ベースの嫌がらせに対して強力でありながら、言語間で公平性を維持すること。

提案手法

• モデルは、Charformerアーキテクチャに統合された学習可能なトークナイザーを採用しており、静的語彙の必要性を排除し、エンド・トゥ・エンドで微分可能なトークナイゼーションを可能にしている。
• 多様なフォーラムやプラットフォームから得た多言語のユーザーゲネレーテッド・コンテントを用いて、シーケンス・ツー・シーケンスのノイズ除去事前学習目的を採用している。
• 推論効率性を最適化した共通エンコーダ・デコーダ構造を有する再構成可能シーケンス・トゥ・シーケンス・トランスフォーマーをアーキテクチャで活用している。
• ファインチューニング時、デコーダを削除することでシーケンス長と深さを半分にし、計算コストと遅延を低減している。
• モデルはバイトレベルで学習・提供されており、再トークナイゼーションなしに誤字、絵文字、隠蔽表現に対しても強力である。
• 効率性は、学習可能なグローバルプーリングによりシーケンス長を短縮するCharformerのグローバルアテンション機構により向上し、TPUハードウェア上で高速な推論を可能にしている。

実験結果

リサーチクエスチョン

• RQ1 1つの多言語・文字レベルのトランスフォーマーモデルが、多様な言語や攻撃的言語パターンにおいて、特化したサブワードベースのモデルを上回る性能を発揮できるか？
• RQ2 静的サブワードトークナイゼーションと比較して、語彙フリーで学習可能なトークナイザーは、コードスイッチィング、隠蔽、絵文字ベースの攻撃的表現に対してどのように強度を高めるか？
• RQ3 バイトレベルのモデルは、リアルタイムの生産環境でのAPI設定において、十分に効率的かつスケーラブルにできるか？
• RQ4 統合モデルは、単言語またはマルチリンガル BERT スタイルのモデルと比較して、複数の言語にわたるバイアスを低減し、公平性を向上させられるか？
• RQ5 ファインチューニングなしで、分布シフトやリソースが限られた言語設定下でも、モデルは効果的に一般化できるか？

主な発見

• UTCはCovertToxicityベンチマークでAUC-ROC 0.607を達成し、最良のベースライン（mT5 base）を0.008 AUC上回った。
• HatemojiCheckベンチマークでは、90.8%の正確性と93.3%のF1スコアを記録し、前回の最先端モデルを正確性で3.0ポイント上回った。
• 102MパラメータのUTCモデルは、ファインチューニング時、64 TPUv3チップで1秒間に32.9ステップの処理速度を達成し、サイズが10倍小さいにもかかわらず、より高速な性能を発揮した。
• 生産環境では10の新規言語（アラビア語、中国語、チェコ語、オランダ語、インドネシア語、日本語、韓国語、ポーランド語、ヒンディー語、ヒングリッシュ）で、中央処理遅延200ms、15 QPSを達成した。1つのTPUv2でバッチ処理した場合、中央処理遅延は45ms、1K QPSを達成した。
• UTCは、コードスイッチィング、絵文字ベースの嫌がらせ、および隠蔽テキストに対して強く、これらの困難な状況下でもベースラインを一貫して上回る性能を示した。
• UTCは、10の新規言語（アラビア語、中国語、チェコ語、オランダ語、インドネシア語、日本語、韓国語、ポーランド語、ヒンディー語、ヒングリッシュ）に成功して、Perspective APIの生産基準を満たした。これは、これらの言語が初めて生産環境で使用可能となったことを意味する。