[論文レビュー] Shielding Google's language toxicity model against adversarial attacks

Néstor Rodríguez, Sergio Rojas Galeano|arXiv (Cornell University)|Jan 5, 2018

Hate Speech and Cyberbullying Detection参考文献 7被引用数 14

ひとこと要約

本論文は、文字の型式の隠ぺいと文法的否定を利用した攻撃を避けるために、GoogleのPerspective毒性モデルを保護する二段階の防御手法を提案する。テキストの再隠ぺい解除と毒性スコアリングを適用することで、処理時間は約2倍に増加するが、文字レベルおよび極性ベースの回避攻撃の両方に対して正確な毒性予測を回復する。

ABSTRACT

Lack of moderation in online communities enables participants to incur in personal aggression, harassment or cyberbullying, issues that have been accentuated by extremist radicalisation in the contemporary post-truth politics scenario. This kind of hostility is usually expressed by means of toxic language, profanity or abusive statements. Recently Google has developed a machine-learning-based toxicity model in an attempt to assess the hostility of a comment; unfortunately, it has been suggested that said model can be deceived by adversarial attacks that manipulate the text sequence of the comment. In this paper we firstly characterise such adversarial attacks as using obfuscation and polarity transformations. The former deceives by corrupting toxic trigger content with typographic edits, whereas the latter deceives by grammatical negation of the toxic content. Then, we propose a two--stage approach to counter--attack these anomalies, bulding upon a recently proposed text deobfuscation method and the toxicity scoring model. Lastly, we conducted an experiment with approximately 24000 distorted comments, showing how in this way it is feasible to restore toxicity of the adversarial variants, while incurring roughly on a twofold increase in processing time. Even though novel adversary challenges would keep coming up derived from the versatile nature of written language, we anticipate that techniques combining machine learning and text pattern recognition methods, each one targeting different layers of linguistic features, would be needed to achieve robust detection of toxic language, thus fostering aggression--free digital interaction.

研究の動機と目的

• GoogleのPerspective毒性モデルが、文字の型式の隠ぺいと文法的否定によって操作される攻撃に対して脆弱であるという問題を解決すること。
• 毒性コンテンツが破損または否定された状態に変換されたのを、毒性スコアリングの前に元の形に回復する前処理パイプラインを開発すること。
• この防御戦略の有効性を、多数の改ざん済みコメントからなる大規模なデータセット上で評価すること。
• 多層的な言語的分析（機械学習とパターン認識の統合）が、強固な毒性検出に不可欠であることを示すこと。

提案手法

• 最近提案されたテキスト再隠ぺい解除技術を用いて、文字の置換、記号の挿入、空白の異常といった型式の隠ぺい操作を逆転する。
• 極性ベースの攻撃に対しては、否定された毒性述語（例：'not stupid'）を削除または置換することで、元の毒性意図を回復する。
• 前処理済みのテキストを、元のGoogle Perspective毒性モデルに供給してスコアリングを行う。
• 正確なスコア回復と計算コストの両面を評価するために、約24,000件の改ざん済みコメントでパイプラインを評価する。
• コンテンツの変更や追加を避け、可能な限り元の内容を保持することで、真正性を維持する。
• n-gramモデルとカスタムの隠ぺいフィルタの適応により、他の言語への拡張性を設計する。

実験結果

リサーチクエスチョン

• RQ1 型式の隠ぺいを用いた攻撃が、GoogleのPerspective毒性モデルを効果的に回避できるか。
• RQ2 再隠ぺい解除プレプロセッサが、隠ぺいされたコメントの正確な毒性スコアをどの程度回復できるか。
• RQ3 否定された毒性述語の削除または置換が、極性ベースの攻撃に対してどの程度効果的か。
• RQ4 実際の運用において、このような防御パイプラインを適用する際の計算コストはどの程度か。
• RQ5 この二段階のアプローチは、類似した攻撃パターンを示す他の言語に対しても一般化可能か。

主な発見

• 提案された防御は、改ざんされたコメントの毒性スコアを高い正確性で回復し、文字レベルの隠ぺい攻撃に対して効果的に対抗した。
• 否定を含む極性ベースの攻撃に対しては、否定された毒性述語を削除または置換することで、元の毒性レベルが回復され、偽陰性が減少した。
• 直接スコアリングと比較して、処理時間は約2倍に増加したが、耐障害性と効率性のトレードオフを示した。
• 毒性シーケンスの半分までが隠ぺいされても防御は有効であるが、汚損率が高くなると効果が低下した。
• 多様な攻撃パターンにわたり、意図した毒性スコアの回復が可能であることが示され、多層的検出システムの必要性を支持した。