[논문 리뷰] A Benchmark Dataset for Learning to Intervene in Online Hate Speech

Jing Qian, Anna Bethke외 3명|arXiv (Cornell University)|2019. 09. 10.

Hate Speech and Cyberbullying Detection참고 문헌 32인용 수 7

한 줄 요약

이 논문은 대화적 맥락과 인간이 작성한 간섭 응답을 포함하는 레딧과 갑에서 유래한 대규모로 완전히 레이블링된 두 개의 데이터셋을 제안하며, 발군의 혐오 발언 간섭을 위한 새로운 작업을 소개한다. 주요 기여는 혐오 발언에 대응하기 위해 맥락 인식형이고 효과적인 응답을 생성할 수 있도록 훈련 및 평가할 수 있는 벤치마크를 제공하는 것으로, 인간이 작성한 간섭과 비교했을 때 자동화된 방법의 성능 향상 여지가 크다는 것이 밝혀졌다.

ABSTRACT

Countering online hate speech is a critical yet challenging task, but one which can be aided by the use of Natural Language Processing (NLP) techniques. Previous research has primarily focused on the development of NLP methods to automatically and effectively detect online hate speech while disregarding further action needed to calm and discourage individuals from using hate speech in the future. In addition, most existing hate speech datasets treat each post as an isolated instance, ignoring the conversational context. In this paper, we propose a novel task of generative hate speech intervention, where the goal is to automatically generate responses to intervene during online conversations that contain hate speech. As a part of this work, we introduce two fully-labeled large-scale hate speech intervention datasets collected from Gab and Reddit. These datasets provide conversation segments, hate speech labels, as well as intervention responses written by Mechanical Turk Workers. In this paper, we also analyze the datasets to understand the common intervention strategies and explore the performance of common automatic response generation methods on these new datasets to provide a benchmark for future research.

연구 동기 및 목표

• 기존 혐오 발언 탐지 기술의 한계를 해결하기 위해, 탐지를 넘어서 응답 생성을 통해 혐오 발언을 능동적으로 완화하는 발군의 간섭 작업을 제안한다.
• 대화적 맥락을 유지하고 인간이 작성한 간섭 응답을 포함하는 레딧과 갑에서 유래한 대규모로 완전히 레이블링된 두 개의 데이터셋을 구축한다.
• 온라인 혐오 발언 간섭 맥락에서 자동 응답 생성 모델을 평가하기 위한 벤치마크를 제공한다.
• 인간이 사용하는 일반적인 간섭 전략을 분석하고, 최신 발군의 생성 모델이 이 데이터셋에서 성능을 어떻게 내는지 평가한다.

제안 방법

• 데이터셋은 레딧과 갑에서 수집되었으며, 기계적 트러블러(Mechanical Turk) 작업자들을 통해 대화가 분할되고 혐오 발언에 대해 레이블링되었다.
• 각 대화에는 혐오 발언이 포함된 게시글, 그 이전의 맥락, 그리고 인간이 작성한 간섭 응답이 포함되어 있어 맥락 인식이 보장된다.
• 다양한 생성 모델을 평가하였으며, 순차적-순차적(Sequence-to-Sequence, Seq2Seq), 변동형 오토인코더(Variational Autoencoder, VAE), 강화학습(Reinforcement Learning, RL)으로 최적화된 모델이 포함된다.
• 자동 평가 지표로는 BLEU, ROUGE, METEOR를 사용하였고, 인간 평가를 통해 응답의 효과성과 다양성을 평가하였다.
• 모델은 두 데이터셋 모두에서 훈련 및 테스트되었으며, 맥락 관련성을 향상시키기 위해 입력 필터링 기법이 적용되었다.
• 실제 성능을 평가하기 위해 자동 평가 지표와 인간의 주관적 평가를 비교 분석하였다.

실험 결과

연구 질문

• RQ1 온라인 혐오 발언에 대응하여 인간이 주로 사용하는 간섭 전략은 무엇인가?
• RQ2 자동 응답 생성 모델은 맥락 인식형 혐오 발언 간섭에서 인간이 작성한 응답과 비교해 어떻게 성능을 내는가?
• RQ3 BLEU, ROUGE, METEOR와 같은 자동 평가 지표가 응답 품질에 대한 인간의 판단과 얼마나 상관이 있는가?
• RQ4 VAE와 같은 일부 모델은 높은 자동 점수를 기록했음에도 불구하고 왜 낮은 다양성을 보이는가?
• RQ5 데이터셋의 크기와 분포(예: 갑 대비 레딧)는 모델의 일반화 능력과 성능에 어떤 영향을 미치는가?

주요 결과

• VAE 모델은 인간 평가에서 상당히 낮은 다양성을 보였으며, 특정 혐오적 키워드(예: 장애를 겨냥한 표현)와 관련된 일반적인 문장들을 반복적으로 생성했다.
• 높은 자동 점수(예: BLEU 4.2, ROUGE 20.4, METEOR 18.2)를 기록했음에도 불구하고, '비하적 언어를 사용하지 마세요'와 같은 일반적인 응답은 맥락 부족으로 인해 품질이 낮게 평가되었다.
• 강화학습(Reinforcement Learning, RL)으로 최적화된 모델은 인간 평가자들로부터 더 효과적이고 다양한 응답을 생성했으며, 특히 갑 데이터셋에서 두드러진 성능을 보였다. 이는 자동 평가 지표에서는 다른 모델보다 뛰어나지 않았음에도 불구하고 성과가 뛰어났음을 의미한다.
• 입력 대화를 필터링한 Seq2Seq 모델은 자동 점수에서 높은 성능을 기록하여, 맥락 필터링이 성능 향상에 기여한다는 것을 시사한다.
• 두 데이터셋 모두에서 인간 평가의 70퍼센트 이상에서 인간이 작성한 응답이 기계가 생성한 응답보다 선호되었으며, 이는 품질과 맥락 인식 능력의 격차를 보여준다.
• 레딧 데이터셋은 평균 게시글 길이가 길어 더 노이지한 편이었고, 이는 특히 훈련 데이터가 제한된 경우 모델에게 더 어려운 과제가 되었다.