[논문 리뷰] Shielding Google's language toxicity model against adversarial attacks

Néstor Rodríguez, Sergio Rojas Galeano|arXiv (Cornell University)|2018. 01. 05.

Hate Speech and Cyberbullying Detection참고 문헌 7인용 수 14

한 줄 요약

이 논문은 구글의 퍼스펙티브 독성 모델이 문체적 왜곡과 문법적 否정을 통해 악용당하는 공격에 대비하기 위해 이단계 방어 기법을 제안한다. 텍스트 복원 기법을 적용한 후 독성 점수를 산정함으로써, 약 2배의 처리 시간 증가를 감수하면서도 문자 수준 및 극성 기반의 회피 기법을 효과적으로 억제한다.

ABSTRACT

Lack of moderation in online communities enables participants to incur in personal aggression, harassment or cyberbullying, issues that have been accentuated by extremist radicalisation in the contemporary post-truth politics scenario. This kind of hostility is usually expressed by means of toxic language, profanity or abusive statements. Recently Google has developed a machine-learning-based toxicity model in an attempt to assess the hostility of a comment; unfortunately, it has been suggested that said model can be deceived by adversarial attacks that manipulate the text sequence of the comment. In this paper we firstly characterise such adversarial attacks as using obfuscation and polarity transformations. The former deceives by corrupting toxic trigger content with typographic edits, whereas the latter deceives by grammatical negation of the toxic content. Then, we propose a two--stage approach to counter--attack these anomalies, bulding upon a recently proposed text deobfuscation method and the toxicity scoring model. Lastly, we conducted an experiment with approximately 24000 distorted comments, showing how in this way it is feasible to restore toxicity of the adversarial variants, while incurring roughly on a twofold increase in processing time. Even though novel adversary challenges would keep coming up derived from the versatile nature of written language, we anticipate that techniques combining machine learning and text pattern recognition methods, each one targeting different layers of linguistic features, would be needed to achieve robust detection of toxic language, thus fostering aggression--free digital interaction.

연구 동기 및 목표

• 구글의 퍼스펙티브 독성 모델이 문체적 왜곡과 문법적 否정을 통해 악용당하는 공격에 취약한 점을 해결하기 위해.
• 독성 내용이 손상되거나 부정된 상태로 변형된 텍스트를 독성 점수 산정 이전에 원래 형태로 복원하는 전처리 파이프라인을 개발하기 위해.
• 이 방어 전략의 효과성을 대규모로 악성 수정된 댓글 세트에 대해 평가하기 위해.
• 강력한 독성 탐지에는 기계 학습과 패턴 인식을 조합한 다층적 언어 분석이 필요하다는 점을 입증하기 위해.

제안 방법

• 최근에 제안된 텍스트 복원 기법을 활용하여, 문자 대체, 기호 삽입, 간격 이상과 같은 문체적 왜곡을 역으로 복원한다.
• 극성 기반 공격의 경우, 부정된 독성 술어(예: 'not stupid')를 제거하거나 대체하여 원래의 독성 의도를 복원한다.
• 전처리된 텍스트는 이후 원본 구글 퍼스펙티브 독성 모델에 투입되어 점수를 산정한다.
• 정확도 복원 및 계산 오버헤드 평가를 위해 약 24,000개의 악성 왜곡된 댓글에 대해 파이프라인을 평가한다.
• 내용 변경이나 추가를 최소화하여 원본의 진실성을 유지한다.
• n-그램 모델 및 맞춤형 왜곡 필터를 조정함으로써 다른 언어로의 확장성도 고려한다.

실험 결과

연구 질문

• RQ1 문체적 왜곡을 사용하는 악성 공격가 구글의 퍼스펙티브 독성 모델을 성공적으로 회피할 수 있는가?
• RQ2 왜곡된 댓글에 대해 복원 전처리기가 얼마나 정확한 독성 점수를 복원할 수 있는가?
• RQ3 부정된 독성 술어의 제거 또는 대체는 극성 기반 악성 공격에 얼마나 효과적인가?
• RQ4 실제 적용 시 이러한 방어 파이프라인의 계산 비용은 어느 정도인가?
• RQ5 이 이단계 접근법은 유사한 악성 패tern을 보이는 다른 언어로 일반화될 수 있는가?

주요 결과

• 제안된 방어 전략은 악성 왜곡된 댓글에 대해 높은 정확도로 독성 점수를 복원하여 문자 수준의 왜곡 공격을 효과적으로 억제한다.
• 부정을 포함한 극성 기반 공격의 경우, 부정된 독성 술어를 제거하거나 대체함으로써 원래의 독성 수준을 복원하여 거짓 음성 감소 효과를 보였다.
• 직접 점수 산정 대비 약 2배의 처리 시간 증가가 발생하여, 강건성과 효율성 사이의 상충 관계를 확인하였다.
• 독성 시퀀스의 최대 절반까지 왜곡되어도 방어 전략은 효과를 유지하지만, 손상 비율이 높아질수록 효과가 감소한다.
• 다양한 악성 패턴에 걸쳐 의도된 독성 점수 복원이 가능함을 입증하며, 다층 탐지 시스템의 필요성을 뒷받침한다.