[論文レビュー] Deceiving Google's Perspective API Built for Detecting Toxic Comments
本論文は、GoogleのPerspectiveの毒性検出器に対する敵対的摂動が、高毒性のフレーズの毒性スコアを大幅に低減させることを示し、誤検知やその他の弱点に対する検出器の脆弱性を示しています。
Social media platforms provide an environment where people can freely engage in discussions. Unfortunately, they also enable several problems, such as online harassment. Recently, Google and Jigsaw started a project called Perspective, which uses machine learning to automatically detect toxic language. A demonstration website has been also launched, which allows anyone to type a phrase in the interface and instantaneously see the toxicity score [1]. In this paper, we propose an attack on the Perspective toxic detection system based on the adversarial examples. We show that an adversary can subtly modify a highly toxic phrase in a way that the system assigns significantly lower toxicity score to it. We apply the attack on the sample phrases provided in the Perspective website and show that we can consistently reduce the toxicity scores to the level of the non-toxic phrases. The existence of such adversarial examples is very harmful for toxic detection systems and seriously undermines their usability.
研究の動機と目的
- オンラインプラットフォームにおける毒性コンテンツ検出の堅牢性の必要性を喚起する。
- Perspectiveが微妙なテキスト摂動によって毒性を維持しつつ欺けることを実証する。
- 検出器の誤警報レートとランダムな綴り間違いへの頑健性を特性化する。
- 毒性言語検出システムの堅牢性を改善するための潜在的な防御戦略を検討する。
提案手法
- 毒性語を摂動してテキストとして敵対的な例を Formulateする（例: ドットの挿入、スペース、綴り間違いを含める）。
- 元のフレーズと摂動後のフレーズをブラックボックス設定でPerspectiveにクエリし、毒性スコアを比較する。
- 摂動が異なるフレーズ間で transferableであることを示す。
- Perspectiveのデモサイトのサンプルフレーズを用いて、定性的・定量的なデモを提示する。
実験結果
リサーチクエスチョン
- RQ1ブラックボックス設定で小さなテキスト摂動が本来毒性の高いフレーズのPerspectiveの毒性スコアを下げられるか。
- RQ2摂動が無害なフレーズの偽陽性を高めるか。
- RQ3どの摂動パターン（文字間のドット挿入、スペース、綴り間違い）は最も効果的で、摂動はフレーズ間で転移するか。
- RQ4敵対的操作による毒性スコアの操作を緩和する防御策は何か。
主な発見
| Original Phrase (Toxicity Score) | Modified Phrase (Toxicity Score) |
|---|---|
| ;; Climate change is happening and it’s not changing in our favor. If you think differently you’re an idiot . (84%) | Climate change is happening and it’s not changing in our favor. If you think differently you’re an idiiot . (20%) |
| ;; They’re stupid , it’s getting warmer, we should enjoy it while it lasts (86%) | They’re st.upid , it’s getting warmer, we should enjoy it while it lasts (2%) |
| ;; They are liberal idiots who are uneducated (90%) | They are liberal i.diots who are un.educated (15%) |
| ;; idiots . backward thinking people. nationalists . not accepting facts. susceptible to lies . (80%) | idiiots . backward thinking people. nationaalists . not accepting facts. susceptible to l.ies . (17%) |
| ;; They are stupid and ignorant with no class (91%) | They are st.upid and ig.norant with no class (11%) |
| ;; It’s stupid and wrong (89%) | It’s stuipd and wrong (17%) |
| ;; If they voted for Hilary they are idiots (90%) | If they voted for Hilary they are id.iots (12%) |
| ;; Anyone who voted for Trump is a moron (80%) | Anyone who voted for Trump is a mo.ron (13%) |
| ;; Screw you trump supporters (79%) | S c r e w you trump supporters (17%) |
| Climate change is happening and it’s not changing in our favor. If you think differently you’re an idiot (84%) | Climate change is happening and it’s not changing in our favor. If you think differently you’re not an idiot (73%) |
| They’re stupid, it’s getting warmer, we should enjoy it while it lasts (86%) | They’re not stupid, it’s getting warmer, we should enjoy it while it lasts (74%) |
| They are liberal idiots who are uneducated. (90%) | They are not liberal idiots who are uneducated. (83%) |
| idiots. backward thinking people. nationalists. not accepting facts. susceptible to lies. (80%) | not idiots. not backward thinking people. not nationalists. accepting facts. not susceptible to lies. (74%) |
- 敵対的摂動は高毒性のフレーズの毒性スコアを一貫して低下させ、非毒性のフレーズのレベルまで下げる。
- 文字間にドットを挿入する、スペースを追加する、単語の綴りを間違えるといった摂動が複数の例で有効である。
- 同じ摂動が他のフレーズにも転移することが多く、再利用可能な摂動辞書を attacker が構築できる。
- Perspectiveシステムは偽陽性の傾向を示し、摂動後に一見無害なフレーズに高い毒性を割り当てる。
- システムはランダムな綴り間違いには頑健だが、ターゲットを絞った摂動やユーザーフィードバックを介した混入には脆弱である。
より良い研究を、今すぐ始めましょう
論文設計から論文執筆まで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。