[논문 리뷰] Large Scale Crowdsourcing and Characterization of Twitter Abusive Behavior

Antigoni-Maria Founta, Constantinos Djouvas외 7명|arXiv (Cornell University)|2018. 02. 01.

Hate Speech and Cyberbullying Detection인용 수 4

한 줄 요약

이 논문은 반복적 표기와 강화된 샘플링을 통해 희귀한 폭력적 행동 카테고리의 탐지를 향상시키기 위해 대규모이고 커뮤니티 기반의 방법론을 제시한다. 반복적인 표기와 통계적 분석을 통해 겹치는 레이블을 통합 및 제거함으로써, 주로 '폭력적'과 '증오 발언'인 세밀화된 카테고리로 레이블링된 80,000개의 트윗을 포함하는 견고하고 공개 가능한 데이터셋을 생성하였다.

ABSTRACT

In recent years, offensive, abusive and hateful language, sexism, racism and other types of aggressive and cyberbullying behavior have been manifesting with increased frequency, and in many online social media platforms. In fact, past scientific work focused on studying these forms in popular media, such as Facebook and Twitter. Building on such work, we present an 8-month study of the various forms of abusive behavior on Twitter, in a holistic fashion. Departing from past work, we examine a wide variety of labeling schemes, which cover different forms of abusive behavior, at the same time. We propose an incremental and iterative methodology, that utilizes the power of crowdsourcing to annotate a large scale collection of tweets with a set of abuse-related labels. In fact, by applying our methodology including statistical analysis for label merging or elimination, we identify a reduced but robust set of labels. Finally, we offer a first overview and findings of our collected and annotated dataset of 100 thousand tweets, which we make publicly available for further scientific exploration.

연구 동기 및 목표

• 소셜 미디어에서 폭력적 행동에 대한 일관되지 않은 레이블링 문제를 해결하기 위해, 특히 증오 발언, 사이버 블랙마일링, 모욕적 언어와 같은 미세한 카테고리 간의 구분 어려움을 해결하고자 한다.
• 표기 품질을 유지하면서도 희귀한 폭력적 카테고리의 충분한 표현을 확보할 수 있는 확장성 있고 비용 효율적인 커뮤니티 기반 표기 방법론을 개발하고자 한다.
• 자동 탐지 시스템 향한 향후 연구를 지원하기 위해, 대규모이며 공개 가능하고 통계적으로 검증된 트위터 트윗 데이터셋을 구축하고자 한다.
• 표기자 간 일치도 분석을 통한 통계적 분석을 통해 겹치거나 중복되는 레이블을 식별하고 통합함으로써 레이블의 모호함을 줄이자.

제안 방법

• 반복적이고 점진적인 커뮤니티 기반 표기 프레임워크를 설계하여, 피드백을 통한 표기자 간 일관성을 향상시켰다.
• 희귀 폭력적 카테고리(예: 증오 발언, 폭력적)의 비율을 높이기 위해 강화된 샘플링 전략을 적용하여, 이러한 콘텐츠의 자연스러운 발생 빈도가 낮은 문제를 보완하였다.
• 작업자 배정, 보상 지급, 작업 라우팅을 관리함으로써 비용, 시간, 표기 품질을 최적화하기 위해 자체 개발한 데이터 수집 플랫폼을 구축하였다.
• 표기자 간 일치도 분석을 통해 레이블 통합 및 제거를 수행하였으며, 이는 압도적(≥4/5), 강한(≥3/5), 단순(≥2/5) 일치 점수를 포함한다.
• 최종 레이블 체계는 '폭력적', '증오 발언', '스팸', '정상'으로 압축되었으며, '사이버 블랙마일링'과 같은 덜 명확하거나 중복되는 레이블은 제거되었다.
• 데이터셋은 두 개의 하위집합으로 구성되었으며, 70,000개의 랜덤 트윗과 10,000개의 강화 샘플 트윗으로 구성되었으며, 후자는 폭력적 콘텐츠가 풍부하여 소수 카테고리에 대한 통계적 검증력을 확보하였다.

실험 결과

연구 질문

• RQ1 트위터에서 폭력적 언어의 미세한 형태를 구분할 때 표기자 간 혼동을 최소화하기 위해 커뮤니티 기반 표기 방식을 어떻게 최적화할 수 있는가?
• RQ2 저빈도 폭력적 카테고리의 충분한 표현을 확보하면서도 최종 데이터셋에 편향을 유도하지 않는 샘플링 전략은 무엇인가?
• RQ3 폭력적 행동에 대한 레이블 중 통계적으로 명확하고 신뢰할 수 있는 것은 무엇이며, 표기자 간 일치도를 바탕으로 통합 또는 제거할 수 있는 레이블은 무엇인가?
• RQ4 랜덤 샘플링에 비해 강화된 샘플링 접근 방식이 폭력적 콘텐츠의 탐지 가능성과 특성 분석에 얼마나 기여하는가?
• RQ5 폭력적 트위터 콘텐츠의 대규모, 고품질, 공개 가능한 데이터셋을 체계적으로 구축하고 검증하는 방법은 무엇인가?

주요 결과

• 80,000개의 트윗 중 55% 이상이 5명의 표기자 중 최소 4명이 일치한 상태(≥4/5)를 기록하여, 표기자 간 높은 일致도를 보였다.
• 최종 데이터셋은 정상 트윗 59%, 스팸 22.5%, 폭력적 11%, 증오 발언 7.5%를 포함하며, 나머지 20%는 부적절하거나 모호한 레이블이 부여되었다.
• 강화 샘플 하위집합(10,000개 트윗)은 전체 부적절 콘텐츠의 약 48%를 차지했으며, 랜덤 샘플은 단지 4%에 불과하여 샘플링 전략의 효과를 입증하였다.
• 통계적 분석 결과, '사이버 블랙마일링' 레이블는 '폭력적' 및 '증오 발언' 레이블과 높은 중복도를 보이며 구분성이 낮아 제거되었다.
• 최종 표기 체계는 '폭력적', '증오 발언', '스팸', '정상'의 네 가지 핵심 레이블로 압축되었으며, 이는 폭력적 행동을 특성화하는 데 가장 신뢰성 있고 대표적인 것으로 확인되었다.
• 데이터셋은 http://ow.ly/BqCf30jqffN 에서 공개되었으며, 플랫폼 코드는 연구 공동체의 재사용을 위해 http://ow.ly/TnuU30jqf7g 에서 오픈소스로 제공된다.