[논문 리뷰] Towards Robust Toxic Content Classification

Keita Kurita, Anna Belova외 1명|arXiv (Cornell University)|2019. 12. 14.

Adversarial Robustness in Machine Learning참고 문헌 30인용 수 16

한 줄 요약

이 논문은 문자 수준의 변형과 비독성 분산 토큰을 사용하여 독성 콘텐츠 분류기 대상으로 현실적인 적대적 공격을 생성하는 모델에 종속되지 않는 방법을 제안한다. 이는 일부 사례에서 검출 재현율을 50% 이상 감소시킨다. 또한 CDAE와 적대적 훈련을 도입하여 강건성을 향상시키며, 앙상블 학습을 통해 CDAE와 BERT를 결합한 결과가 두 공격 유형에 모두 가장 강건한 방어 성능을 보임을 보여준다.

ABSTRACT

Toxic content detection aims to identify content that can offend or harm its recipients. Automated classifiers of toxic content need to be robust against adversaries who deliberately try to bypass filters. We propose a method of generating realistic model-agnostic attacks using a lexicon of toxic tokens, which attempts to mislead toxicity classifiers by diluting the toxicity signal either by obfuscating toxic tokens through character-level perturbations, or by injecting non-toxic distractor tokens. We show that these realistic attacks reduce the detection recall of state-of-the-art neural toxicity detectors, including those using ELMo and BERT, by more than 50% in some cases. We explore two approaches for defending against such attacks. First, we examine the effect of training on synthetically noised data. Second, we propose the Contextual Denoising Autoencoder (CDAE): a method for learning robust representations that uses character-level and contextual information to denoise perturbed tokens. We show that the two approaches are complementary, improving robustness to both character-level perturbations and distractors, recovering a considerable portion of the lost accuracy. Finally, we analyze the robustness characteristics of the most competitive methods and outline practical considerations for improving toxicity detectors.

연구 동기 및 목표

• 최신 독성 콘텐츠 분류기의 모델에 종속되지 않는 현실적인 적대적 공격에 대한 취약성을 조사하기 위해.
• 문자 수준의 변형과 삽입된 비독성 분산 토큰에 대응하는 강건한 방어 기법을 개발하기 위해.
• 적대적 훈련과 새로운 문맥 기반 노이즈 제거 오토인코더(CDAE)가 공격 조건 하에서 분류기 성능을 복구하는 데 얼마나 효과적인지 평가하기 위해.
• 다양한 모델(예: BERT 및 CDAE)이 병합된 공격 유형에 대응할 때 강건성 특성에 어떻게 다름을 비교하기 위해.
• 실제 배포 환경에서 더 강건한 독성 탐지 시스템을 구축하기 위한 실용적 지침을 제공하기 위해.

제안 방법

• 대규모 배경 코퍼스(Jigsaw 2019)와 독성 토큰 사전를 사용하여 문자 수준의 변형(예: 'u'를 '*'로 대체) 또는 비독성 분산 토큰을 삽입하여 적대적 예제를 생성한다.
• 합성 노이즈가 가미된 예제로 훈련 데이터를 증강하여 유사한 노이즈 패tern에 대응하는 강건성을 향상시키기 위해 적대적 훈련을 시행한다.
• 문자 수준의 정보와 문맥 정보를 모두 활용하여 표현 학습 중에 손상된 토큰을 복원하고 노이즈를 제거하는 CDAE(문맥 기반 노이즈 제거 오토인코더)를 제안한다.
• 마스크된 토큰 복원을 통해 손상된 입력으로부터 원본 토큰을 예측하도록 CDAE를 훈련시키며, 문자 수준 임베딩과 트랜스포머 기반 문맥 인코딩을 통합한다.
• CDAE와 BERT를 앙상블 모델로 결합하여 상호 보완적인 강건성을 활용한다: CDAE는 문자 수준의 변형에 뛰어난 성능을 보이며, BERT는 분산 토큰 삽입에 강건하다.
• Jigsaw 2018, Jigsaw 2019, OffensEval 2019 등의 다양한 데이터셋에서 표준 지표(F1, 재현율)를 사용하여 공격 조건 하에서 방어 성능을 평가한다.

실험 결과

연구 질문

• RQ1 문자 수준의 변형과 분산 토큰 삽입을 사용한 단순한 모델에 종속되지 않는 적대적 공격에 대해 최신 신경망 기반 독성 탐지기의 취약도는 어떠한가?
• RQ2 합성 노이즈가 가미된 데이터에 대해 적대적 훈련을 수행할 경우, 깨끗한 데이터에서의 성능 저하 없이 얼마나 강건성이 향상되는가?
• RQ3 문맥 기반 노이즈 제거 오토인코더(CDAE)는 문자 수준의 변형을 효과적으로 제거하면서도 문맥적 의미를 유지하는 강건한 표현을 학습할 수 있는가?
• RQ4 다른 모델들(예: BERT 대비 CDAE)은 서로 다른 공격 유형에 대해 강건성 특성에서 어떻게 다름을 보이는가?
• RQ5 CDAE와 BERT의 앙상블은 서로 다른 공격 벡터에 대응하는 보완적인 강점들을 조합함으로써 우수한 종합 강건성을 달성할 수 있는가?

주요 결과

• 문자 수준의 변형과 분산 토큰 삽입은 ELMo 및 BERT 기반의 최신 독성 탐지기의 재현율을 일부 사례에서 50% 이상 감소시킨다.
• 적대적 훈련은 합성 노이즈에 대응하는 강건성을 향상시키지만, 깨끗한 비적대적 데이터에서의 성능에 유의미한 감소를 초래한다.
• CDAE 모델은 문자 수준의 정보와 문맥 정보를 활용하여 노이즈 제거를 통해 문자 수준의 변형에 대해 뚜렷한 강건성을 향상시킨다.
• BERT 기반 모델은 CDAE에 비해 분산 토큰 삽입에 대해 더 강건한 저항성을 보이며, CDAE는 이러한 공격에 취약하다.
• CDAE와 BERT의 앙상블은 두 개의 개별 모델보다 보다 높은 종합 강건성을 달성하며, 서로 보완적인 강점을 조합함으로써 최적의 성능을 보인다.
• 본 연구는 모델에 종속되지 않는 공격가 매우 효과적이며, 강건성을 확보하기 위해서는 노이즈 유형과 문맥 의미를 동시에 고려한 방어 메커니즘이 필요하다는 것을 입증한다.