[논문 리뷰] Degree based Classification of Harmful Speech using Twitter Data

Sanjana Sharma, Saksham Agrawal외 1명|arXiv (Cornell University)|2018. 08. 01.

Hate Speech and Cyberbullying Detection참고 문헌 8인용 수 5

한 줄 요약

이 논문은 단순한 집단 기반 혐오 외에 혐오의도의 정도를 기반으로 티커에서의 해로운 발언에 대한 새로운 온톨로지적 분류를 제안하며, 이러한 분류에 따라 레이블링된 새로운 데이터셋을 구축한다. 이는 미세한 해로운 발언 카테고리를 탐지할 수 있는 지도 학습 기반 분류 시스템을 도입하여 더 견고하고 세밀한 자동 탐지 시스템의 기반을 마련한다.

ABSTRACT

Harmful speech has various forms and it has been plaguing the social media in different ways. If we need to crackdown different degrees of hate speech and abusive behavior amongst it, the classification needs to be based on complex ramifications which needs to be defined and hold accountable for, other than racist, sexist or against some particular group and community. This paper primarily describes how we created an ontological classification of harmful speech based on degree of hateful intent and used it to annotate twitter data accordingly. The key contribution of this paper is the new dataset of tweets we created based on ontological classes and degrees of harmful speech found in the text. We also propose supervised classification system for recognizing these respective harmful speech classes in the texts hence. This serves as a preliminary work to lay down foundation on defining different classes of harmful speech and subsequent work will be done in making it’s automatic detection more robust and efficient.

연구 동기 및 목표

• 단순한 집단 기반 혐오 외에 혐오의도의 정도를 고려한 세밀한 분류 체계의 부재를 보완하기 위해, 집단 기반 혐오 외의 혐오의도 정도를 정의한다.
• 소셜 미디어 콘텐츠 내 해로운 발언의 복잡성과 정도의 변화를 포괄하는 온톨로지 프레임워크를 개발한다.
• 이러한 온톨로지적 분류와 해로운 발언의 정도에 따라 레이블링된 새로운 티커 트윗 데이터셋을 구축한다.
• 텍스트 데이터에서 이러한 구분된 카테고리를 인식할 수 있는 지도 학습 기반 분류 시스템을 설계 및 구현한다.

제안 방법

• 집단 대상 여부 외에 혐오의도의 정도에 기반해 해로운 발언을 분류하는 온톨로지 기반 분류 체계를 개발한다.
• 제안된 온톨로지적 분류와 해로운 발언의 정도에 따라 대규모 티커 데이터셋을 레이블링한다.
• 레이블링된 데이터셋을 기반으로 지도 기반 기계 학습 기법을 활용해 해로운 발언 카테고리를 식별할 수 있는 분류 모델을 훈련시킨다.
• 해로운 의도의 정도에 따라 트윗을 레이블링하기 위한 구체적인 기준을 정의하고 적용하여 세밀한 분류를 가능하게 한다.

실험 결과

연구 질문

• RQ1 해로운 발언은 단순한 집단 기반 혐오 외에 혐오의도의 정도에 기반해 어떻게 체계적으로 분류될 수 있는가?
• RQ2 티커 데이터 내에서 서로 다른 해로운 발언의 정도 간 핵심적 특성과 차이점은 무엇인가?
• RQ3 지속적인 분류 시스템은 이러한 세밀한 해로운 발언 카테고리를 탐지하는 데 얼마나 효과적인가?
• RQ4 도구 기반의 해로운 발언 카테고리로 레이블링된 새로운 세밀한 티커 트윗 데이터셋은 어떤 형태로 구성되어 있는가?

주요 결과

• 논문은 해로운 발언의 온톨로지적 분류와 정도에 따라 레이블링된 새로운 티커 트윗 데이터셋을 성공적으로 구축하였다.
• 제안된 지도 학습 기반 분류 시스템은 세밀한 해로운 발언 카테고리 탐지의 가능성을 입증하였다.
• 온톨로지 프레임워크는 이진 또는 집단 중심 레이블 외에 더 복잡하고 책임감 있는 해로운 발언 분류를 가능하게 하였다.
• 이 연구는 훨씬 더 정밀하고 세밀한 정밀도를 갖춘 해로운 발언 자동 탐지 분야의 향후 연구를 위한 기초 프레임워크를 제공한다.