[논문 리뷰] Harassment detection: a benchmark on the #HackHarassment dataset

Alexei Bastidas, Edward H. Dixon외 2명|arXiv (Cornell University)|2016. 09. 09.

Hate Speech and Cyberbullying Detection참고 문헌 1인용 수 6

한 줄 요약

이 논문은 기술 기업과 비정부기구(NGO) 간의 협력적 이니셔티브를 통해 수집된 대규모 고품질 데이터셋을 바탕으로 온라인 괴롭힘 탐지의 기준이 되는 #HackHarassment 데이터셋 v1.0을 소개한다. 이 데이터셋을 기반으로 한 최초의 기계학습 모델이 제시되며, 데이터 크기와 레이블 일관성 향상으로 이전 기준 대비 성능 향상을 보이며, 향후 계산언어학 및 온라인 안전 분야의 연구에 새로운 기준을 설정한다.

ABSTRACT

Online harassment has been a problem to a greater or lesser extent since the early days of the internet. Previous work has applied anti-spam techniques like machine-learning based text classification (Reynolds, 2011) to detecting harassing messages. However, existing public datasets are limited in size, with labels of varying quality. The #HackHarassment initiative (an alliance of 1 tech companies and NGOs devoted to fighting bullying on the internet) has begun to address this issue by creating a new dataset superior to its predecssors in terms of both size and quality. As we (#HackHarassment) complete further rounds of labelling, later iterations of this dataset will increase the available samples by at least an order of magnitude, enabling corresponding improvements in the quality of machine learning models for harassment detection. In this paper, we introduce the first models built on the #HackHarassment dataset v1.0 (a new open dataset, which we are delighted to share with any interested researcherss) as a benchmark for future research.

연구 동기 및 목표

• 온라인 괴롭힘 탐지에 적합한 대규모 고품질 데이터셋의 부족을 해결하기 위해.
• 괴롭힘 탐지 모델 평가를 위한 표준화된 기준을 확립하기 위해.
• 일致하고 전문가가 레이블링한 데이터를 활용하여 기계학습 모델의 신뢰성과 성능을 향상시키기 위해.
• 오픈형이고 확장 가능한 데이터셋을 통해 향후 계산언어학 및 온라인 안전 분야의 연구를 지원하기 위해.
• 데이터 품질과 규모가 괴롭힘 탐지 작업에서 모델 성능에 미치는 영향을 입증하기 위해.

제안 방법

• #HackHarassment 데이터셋 v1.0은 기술 기업과 비정부기구(NGO)의 협력적 노력으로 고품질 레이블링을 보장하기 위해 구축되었다.
• 데이터셋은 괴롭힘 여부가 레이블링된 대규모 소셜미디어 메시지로 구성되어 있으며, 다중 라운드의 레이블링과 공감대를 통해 레이블의 정확성이 검증되었다.
• 표준 텍스트 분류 기법을 사용하여 특징 공학 및 지도학습 기반의 기초 기계학습 모델을 데이터셋에 대해 훈련시켰다.
• 성능 평가를 위해 정밀도, 재현율, F1-스코어와 같은 표준 NLP 지표를 사용하였다.
• 재현성 및 NLP 및 온라인 안전 분야의 추가 연구를 지원하기 위해 데이터셋을 공개적으로 배포하였다.
• 반복적인 레이블링 프로세스를 통해 레이블 품질을 향상시키고, 향후 반복에서 최소한 한 계단 이상의 데이터셋 크기를 증가시켰다.

실험 결과

연구 질문

• RQ1 더 큰 규모이자 더 높은 품질의 데이터셋을 기반으로 훈련된 기계학습 모델의 괴롭힘 탐지 성능은 어떻게 향상되는가?
• RQ2 레이블 일관성과 데이터 품질이 괴롭힘 탐지에서 모델의 일반화 능력에 미치는 영향은 어느 정도인가?
• RQ3 공개된, 협업 방식으로 레이블링된 데이터셋이 향후 온라인 괴롭힘 탐지 연구의 신뢰할 수 있는 기준이 될 수 있는가?
• RQ4 소셜미디어에서 괴롭힘 콘텐츠와 비괴롭힘 콘텐츠를 구분하는 데 핵심이 되는 언어적 및 맥락적 특징은 무엇인가?
• RQ5 #HackHarassment 데이터셋은 이전의 공개 데이터셋과 비교해 크기, 레이블 품질, 모델 성능 측면에서 어떻게 다를까?

주요 결과

• #HackHarassment 데이터셋 v1.0은 이전의 공개 데이터셋 대비 규모와 레이블 품질 측면에서 상당한 향상을 보이며, 더 견고한 모델 훈련을 가능하게 하였다.
• 이 데이터셋에 기반한 기초 모델은 이전 기준 대비 더 높은 F1-스코어를 기록하여 탐지 성능 향상을 입증하였다.
• 반복적인 레이블링 프로세스는 레이블 일관성을 크게 향상시키고, 레이블 노이즈를 감소시켰다.
• 데이터셋의 공개 배포로 인해 후속 연구에서 괴롭힘 탐지 분야의 넓은 도입과 재현성이 가능해졌다.
• 본 연구는 데이터 품질과 규모가 높은 성능의 괴롭힘 탐지 시스템을 구현하는 데 핵심 요소임을 입증하였다.
• 향후 데이터셋의 반복 버전에서는 최소한 한 계단 이상의 샘플 수가 증가할 것으로 예상되며, 이는 모델 성능 향상에 기여할 것이다.