[논문 리뷰] ToxiGen: A Large-Scale Machine-Generated Dataset for Adversarial and Implicit Hate Speech Detection

Thomas Hartvigsen, Saadia Gabriel외 4명|arXiv (Cornell University)|2022. 03. 17.

Hate Speech and Cyberbullying Detection인용 수 7

한 줄 요약

ToxiGen은 13개의 소수집단에 대한 274,186건의 유해 및 무해한 발언으로 구성된 대규모 기계 생성 데이터셋을 제공하며, 시범 기반 프ompting 프레임워크와 악성 분류기-인-더-루프 디코딩 방법(Alice)을 사용하여 암묵적 혐오 발언을 생성한다. ToxiGen으로의 피니튜닝은 인간이 작성한 암묵적 혐오 발언 데이터셋에서 독성 분류기의 성능을 7–19% 향상시킨다.

ABSTRACT

Toxic language detection systems often falsely flag text that contains minority group mentions as toxic, as those groups are often the targets of online hate. Such over-reliance on spurious correlations also causes systems to struggle with detecting implicitly toxic language. To help mitigate these issues, we create ToxiGen, a new large-scale and machine-generated dataset of 274k toxic and benign statements about 13 minority groups. We develop a demonstration-based prompting framework and an adversarial classifier-in-the-loop decoding method to generate subtly toxic and benign text with a massive pretrained language model. Controlling machine generation in this way allows ToxiGen to cover implicitly toxic text at a larger scale, and about more demographic groups, than previous resources of human-written text. We conduct a human evaluation on a challenging subset of ToxiGen and find that annotators struggle to distinguish machine-generated text from human-written language. We also find that 94.5% of toxic examples are labeled as hate speech by human annotators. Using three publicly-available datasets, we show that finetuning a toxicity classifier on our data improves its performance on human-written data substantially. We also demonstrate that ToxiGen can be used to fight machine-generated toxicity as finetuning improves the classifier significantly on our evaluation subset. Our code and data can be found at https://github.com/microsoft/ToxiGen.

연구 동기 및 목표

• 소수집단 언급에 대한 독성 분류기의 과도한 의존으로 인한 오분류 및 암묵적 혐오 발언 탐지 실패 문제를 해결하기 위해.
• 낮은 대표성을 보이는 소수집단과 암묵적(비욕설이 아닌) 유해 언어를 포함한 대규모이고 균형 잡힌 데이터셋을 생성하기 위해.
• 기계 생성 텍스트가 인간이 작성한 텍스트와 인간 평가에서 구별되지 않을 정도로 구현하기 위해.
• 생성된 데이터로 기존 독성 분류기를 피니튜닝하여, 특히 암묵적 혐오 발언에 대한 성능 향상시키기 위해.

제안 방법

• 13개의 소수집단에 대한 유해 및 무해한 발언 생성을 제어하기 위해 시범 기반 프롬프팅을 활용한 GPT-3를 텍스트 생성기로 활용한다.
• 빔 서치 동안 특정 독성 수준으로 향하도록 안내하기 위해 악성 분류기-인-더-루프 디코딩 알고리즘인 Alice를 구현한다.
• 사전 학습된 독성 분류기를 사용하여 생성 과정을 안내함으로써 명시적 욕설 없이도 고품질이고 대상이 명확한 유해 콘텐츠를 생성한다.
• 소수집단 각각에 대해 유해 및 무해 예제의 수를 동일하게 유지하여 비합리적 상관관계를 줄인다.
• 암묵적(비욕설 또는 비속어 없음)이 98.2%인 문장을 생성하여 암묵적이고 체계적인 편향을 강조한다.
• 실제 인간 평가를 위해 792개 샘플 서브셋을 활용하여 생성된 텍스트의 현실성과 구별 가능성 검증

실험 결과

연구 질문

• RQ1 기계 생성 텍스트가 인간 평가에서 인간이 작성한 유해 및 무해한 발언과 구별되지 않을 수 있는가?
• RQ2 ToxiGen으로의 피니튜닝이 기존 인간 애너테이션 기반의 암묵적 혐오 발언 데이터셋에서 성능에 얼마나 기여하는가?
• RQ3 Alice를 통한 악성 생성이 기존의 여러 독성 분류기를 속일 수 있는가?
• RQ4 ToxiGen은 낮은 대표성을 보이는 소수집단과 암묵적 혐오 발언 형태를 얼마나 잘 커버하는가?
• RQ5 ToxiGen으로의 학습이 소수집단 언급과 독성 예측 간의 비합리적 상관관계를 줄이는 데 어떤 영향을 미치는가?

주요 결과

• 인간 평가에서 기계 생성 예제의 90.5%가 인간이 작성한 텍스트로 오인되었으며, 이는 높은 현실성의 증거이다.
• ToxiGen의 유해 예제 중 94.5%가 인간 애너테이터에 의해 혐오 발언으로 분류되어, 그들의 인식된 독성 수준을 확인한다.
• 기존 독성 분류기를 ToxiGen으로 피니튜닝하면, ImplicitHateCorpus, SocialBiasFrames, DynaHate 세 가지 벤치마크 데이터셋에서 성능이 7–19% 향상된다.
• 이 데이터셋은 암묵적 유해 문장 비율이 98.2%로, 명시적이지 않지만 해로운 언어를 효과적으로 생성함을 보여준다.
• Alice는 Perspective API 및 OpenAI의 콘텐츠 필터를 포함한 다섯 개의 공개된 독성 분류기를 속이는 문장을 성공적으로 생성했다.
• 이 방법은 13개의 소수집단에 걸쳐 균형 잡히고 다양한, 맥락적으로 관련된 유해 및 무해한 문장을 성공적으로 생성했다.