[논문 리뷰] All You Need is "Love": Evading Hate-speech Detection

Tommi Gröndahl, Luca Pajola외 3명|arXiv (Cornell University)|2018. 08. 28.

Hate Speech and Cyberbullying Detection인용 수 73

한 줄 요약

이 논문은 일곱 가지 최첨단 혐오 발언(detectors)을 재현하고, 성능이 데이터셋에 의존한다는 점을 보이며, 단어 기반 모델보다 문자 기반 모델을 더 많이 무너뜨리는 텍스트 기반의 적대적 공격을 견딜 수 없음을 보여주고, 적대적 학습 및 전처리 조정을 통한 부분적 완화 효과를 제시합니다.

ABSTRACT

With the spread of social networks and their unfortunate use for hate speech, automatic detection of the latter has become a pressing problem. In this paper, we reproduce seven state-of-the-art hate speech detection models from prior work, and show that they perform well only when tested on the same type of data they were trained on. Based on these results, we argue that for successful hate speech detection, model architecture is less important than the type of data and labeling criteria. We further show that all proposed detection techniques are brittle against adversaries who can (automatically) insert typos, change word boundaries or add innocuous words to the original hate speech. A combination of these methods is also effective against Google Perspective -- a cutting-edge solution from industry. Our experiments demonstrate that adversarial training does not completely mitigate the attacks, and using character-level features makes the models systematically more attack-resistant than using word-level features.

연구 동기 및 목표

• 여러 데이터셋에 걸쳐 혐오 발언 탐지 모델의 전이 가능성을 평가한다.
• 모델 아키텍처나 데이터 라벨링이 탐지 성능을 좌우하는지 평가한다.
• 혐오 발언 탐지기를 비켜갈 수 있는 적대적 텍스트 수정 방법을 식별한다.
• 적대적 텍스트 공격에 대한 간단한 방어책과 그 한계를 탐구한다.

제안 방법

• 네 가지 선행 연구의 혐오 발언 탐지 모델 일곱 가지를 네 개 데이터셋에서 재현한다.
• 한 데이터셋에서 학습하고 다른 데이터셋에서 테스트하여 교차 데이터셋 일반화를 평가한다.
• 여섯 가지 적대적 텍스트 공격을 체계적으로 구현한다(카테고리 3개, 각 2개의 변형).
• 적대적 학습 및 전처리 기반 완화책(오탈자 검사, 공백 처리)을 테스트한다.
• 단어 기반 모델과 문자 기반 모델의 공격 취약성을 비교한다.

실험 결과

연구 질문

• RQ1 혐오 발언 탐지기가 서로 다른 데이터셋과 도메인에서 잘 일반화되는가?
• RQ2 성능이 모델 아키텍처에 의해 좌우되는가, 아니면 데이터/레이블링 기준에 의해 좌우되는가?
• RQ3 간단한 자동 텍스트 수정이 탐지기를 회피할 수 있는가, 그리고 어떤 모델 유형이 더 강건한가?
• RQ4 적대적 학습과 전처리 완화책이 공격 효과를 감소시키는가?
• RQ5 단어 기반과 문자 기반 모델은 특정 공격 유형에 대해 얼마나 취약한가?

주요 결과

• 동일한 데이터셋에서 학습되고 테스트될 때 모든 모델의 성능은 유사하지만, 서로 다른 데이터셋으로의 전이는 크게 실패하여 데이터셋 의존성이 강하게 나타난다.
• 단어 기반 모델은 토크나이제이션/단어 경계 공격에 문자 기반 모델보다 더 취약하다.
• 문자 기반 모델은 공격으로부터 완전히 깨지지 않으며, 적대적 학습은 특히 leetspeak에 대해 강건성을 크게 향상시킨다.
• 단어 추가(attacking by appending) 공격은 단어 기반과 문자 기반 모두를 악화시킬 수 있지만, 완화 효과는 방법에 따라 다르다.
• 사전 학습된 언어 전이(ULMFiT)는 이 재현에서 벤치마크를 능가하지 못했다.
• Google Perspective의 독성 점수는 단순한 비해당 내용을 추가해 쉽게 높아질 수 있어 혐오 발언과의 불일치를 강조한다.