[논문 리뷰] Understanding and Detecting Dangerous Speech in Social Media

Ali Alshehri, El Moatez Billah Nagoudi외 1명|arXiv (Cornell University)|2020. 05. 01.

Hate Speech and Cyberbullying Detection참고 문헌 20인용 수 9

한 줄 요약

이 논문은 사회 미디어에서 위험한 발언, 특히 신체적 위협을 탐지하기 위한 레이블이 부여된 데이터셋을 소개하고 기계 학습 모델을 개발한다. 이는 이전에 다루지 않은 분야이다. 최고의 모델은 매크로 F1 스코어 59.60%를 기록하여 경쟁력 있는 베이스라인을 크게 앞서 간다.

ABSTRACT

Social media communication has become a significant part of daily activity in modern societies. For this reason, ensuring safety in social media platforms is a necessity. Use of dangerous language such as physical threats in online environments is a somewhat rare, yet remains highly important. Although several works have been performed on the related issue of detecting offensive and hateful language, dangerous speech has not previously been treated in any significant way. Motivated by these observations, we report our efforts to build a labeled dataset for dangerous speech. We also exploit our dataset to develop highly effective models to detect dangerous content. Our best model performs at 59.60% macro F1, significantly outperforming a competitive baseline.

연구 동기 및 목표

• 사회 미디어 콘텐츠에서 위험한 발언, 특히 신체적 위협에 대한 연구의 격차를 해소하기 위해.
• 학습 및 평가를 위한 위험한 발언에 대한 고품질의 인간 레이블링 데이터셋을 구축하기 위해.
• 높은 효과성으로 위험한 발언을 식별할 수 있는 기계 학습 모델을 개발하고 평가하기 위해.
• 공격적 또는 혐오스러운 언어 탐지와는 구별되는 위험한 발언 탐지의 기준을 설정하기 위해.

제안 방법

• 저자는 위험한 발언, 특히 신체적 위협에 초점을 맞춰 사회 미디어 게시물의 데이터셋을 수집하고 정제하였다.
• 높은 품질의 레이블링을 확보하기 위해 인간 레이블링을 활용하였다.
• 다양한 기계 학습 모델, 특히 딥 러닝 아키텍처를 미세조정하고 평가하기 위해 데이터셋을 사용하였다.
• 최고의 성능을 보인 모델은 맥락적 임bedding과 분류 헤드의 조합을 사용하여 데이터셋에서 최고의 성능을 기록하였다.
• 모든 클래스 간의 성능 균형을 고려하기 위해 매크로 F1 스코어를 사용하여 평가를 실시하였다.

실험 결과

연구 질문

• RQ1 사회 미디어에서 위험한 발언, 특히 신체적 위협은 무엇으로 정의되며, 다른 형태의 해로운 언어와 어떻게 신뢰성 있게 구분할 수 있는가?
• RQ2 새로운 고품질 데이터셋을 기반으로 훈련된 기계 학습 모델은 위험한 발언 탐지에 얼마나 효과적인가?
• RQ3 제안된 모델의 성능는 기존의 베이스라인과 비교하여 위험한 발언 탐지에서 어떻게 나타나는가?

주요 결과

• 제안된 데이터셋은 공격적 또는 혐오스러운 언어와는 별개로 위험한 발언 탐지에 신뢰할 수 있고 독립적인 자원을 제공한다.
• 최고의 성능을 보인 모델은 매크로 F1 스코어 59.60%를 기록하여 경쟁력 있는 베이스라인을 크게 앞서 간다.
• 적절한 데이터와 모델링 접근 방식을 통해 위험한 발언 탐지가 실현 가능하고 측정 가능하다는 것이 결과적으로 입증되었다.
• 이 연구는 온라인 커뮤니케이션에서 신체적 위협을 탐지하기 위한 향후 연구를 위한 기준을 설정한다.