[논문 리뷰] NoisyHate: Mining Online Human-Written Perturbations for Realistic Robustness Benchmarking of Content Moderation Models

Yiran Ye, Thái Hoàng Lê외 1명|arXiv (Cornell University)|2023. 03. 18.

Hate Speech and Cyberbullying Detection인용 수 4

한 줄 요약

이 논문은 소셜 미디어에서 기인한 실제 인간이 작성한 텍스트 변형을 기반으로 한 NoisyHate라는 벤치마크 데이터셋을 소개한다. 이는 유해 발언 탐지 모델의 실제 회피 공격에 대한 내구성 평가를 위해 설계되었다. 연구 결과, BERT나 RoBERTa와 같은 최신 기술 모델뿐 아니라 상용 Perspective API 역시 변형된 유해 콘텐츠를 신뢰성 있게 탐지하지 못함을 입증하며, 인간이 이해할 수 있는 변형에 대해서도 현재 모델의 내구성에 심각한 격차가 존재함을 시사한다.

ABSTRACT

Online texts with toxic content are a clear threat to the users on social media in particular and society in general. Although many platforms have adopted various measures (e.g., machine learning-based hate-speech detection systems) to diminish their effect, toxic content writers have also attempted to evade such measures by using cleverly modified toxic words, so-called human-written text perturbations. Therefore, to help build automatic detection tools to recognize those perturbations, prior methods have developed sophisticated techniques to generate diverse adversarial samples. However, we note that these ``algorithms"-generated perturbations do not necessarily capture all the traits of ``human"-written perturbations. Therefore, in this paper, we introduce a novel, high-quality dataset of human-written perturbations, named as NoisyHate, that was created from real-life perturbations that are both written and verified by human-in-the-loop. We show that perturbations in NoisyHate have different characteristics than prior algorithm-generated toxic datasets show, and thus can be in particular useful to help develop better toxic speech detection solutions. We thoroughly validate NoisyHate against state-of-the-art language models, such as BERT and RoBERTa, and black box APIs, such as Perspective API, on two tasks, such as perturbation normalization and understanding.

연구 동기 및 목표

• 유해 콘텐츠 탐지에서 기계적으로 생성된 대안적 변형과 실제 인간이 작성한 변형 간 격차를 해소하기 위해.
• 온라인 소셜 플랫폼에서 실제 확보된 변형을 활용해 현실적인 벤치마크 데이터셋을 구축하여 모델 평가를 향상시키기 위해.
• 기존 모델과 철자 검사기의 인간이 작성한 변형에 대한 효과성을 평가하기 위해.
• 현재 모델이 실제 세계에서 인간이 생성한 대안적 공격에 여전히 취약함을 입증하기 위해.

제안 방법

• 아마존 MTurk를 통해 커뮤니티 가이드라인을 활용해 소셜 미디어 플랫폼에서 실제 인간이 작성한 변형을 수집하여 진정성을 확보하였다.
• Jigsaw 유해 코멘터리 데이터셋을 기반으로 하여 원본의 유해성 레이블과 신원 정보 주석을 유지하였다.
• 다양한 철자 검사기(예: pyspellchecker, Google 검색)를 적용하여 정규화 가능성 평가 및 한계점 파악을 시도하였다.
• 최신 기술 모델(BERT, RoBERTa)과 Perspective API를 정제된 데이터셋과 변형된 데이터셋 모두에 대해 평가하였다.
• 다양한 결정 임계값에서 기반 기반 정확도 비교를 통해 변형에 대한 내구성 측정을 수행하였다.
• 변형의 품질과 인간다움을 검증하기 위해 상호작용식 인간 평가 인터페이스를 설계하였다.

Figure 1 . Overall curation pipeline of NoisyHate dataset. This pipeline has three steps: (1) Data sourcing and cleaning from the original Jigsaw dataset (Section 3.2 ), (2) Sentence perturbation with human-written perturbations via pseudo-random sampling (Section 3.3 ) and (3) Human evaluation via

실험 결과

연구 질문

• RQ1 현재의 유해 콘텐츠 탐지 모델은 실제 인간이 작성한 텍스트 변형을 얼마나 효과적으로 식별할 수 있는가?
• RQ2 기존의 철자 검사기는 온라인 유해 콘텐츠에 존재하는 인간이 작성한 변형을 효과적으로 정규화할 수 있는가?
• RQ3 최신 기술 모델은 실제 인간이 생성한 대안적 변형에 직면했을 때 성능이 얼마나 떨어지는가?
• RQ4 탐지 시스템을 회피하는 데 가장 흔하고 효과적인 변형 유형은 무엇인가?

주요 결과

• Perspective API는 임계값 0.5에서 정확도 0.672를 기록하여 BERT(0.557)와 RoBERTa(0.583)를 모두 앞서며 가장 높은 내구성을 확보하였다.
• RoBERTa-TweetEval는 정제된 데이터에서 최고의 정확도(임계값 t=0.5일 때 0.915)를 기록했지만, 변형된 데이터에서는 성능이 크게 떨어졌다.
• pyspellchecker와 같은 철자 검사기는 상용 도구보다 정규화 정확도가 높았지만, 새로운 또는 복잡한 변형에는 여전히 실패하였다.
• 이 데이터셋은 심지어 고급 모델들도 인간이 작성한 변형에 노출되었을 때도 높은 탐지 정확도를 유지하지 못함을 드러내며, 중요한 내구성 격차가 존재함을 시사한다.
• 실제로 'russ!an'이나 'idiiot'와 같은 인간이 작성한 변형이 성공적으로 수집되었으며, 이는 기계적으로 생성된 변형이 아닌 실제 유해어의 비기계적 변형으로 확인되었다.

Figure 2 . Python code for loading the NoisyHate datasets into a table using the Hugging Face API