[논문 리뷰] In the Service of Online Order: Tackling Cyber-Bullying with Machine Learning and Affect Analysis

Michał Ptaszyński, Paweł Dybała외 5명|arXiv (Cornell University)|2022. 03. 04.

Bullying, Victimization, and Aggression참고 문헌 15인용 수 50

한 줄 요약

이 논문은 affect 분석과 SVM을 사용하여 비공식 일본 학교 웹사이트의 사이버 괴롭힘 항목을 자동으로 탐지하는 시스템을 개발하고, 88.2%의 균형 F-점수를 달성한다.

ABSTRACT

One of the burning problems lately in Japan has been cyber-bullying, or slandering and bullying people online. The problem has been especially noticed on unofficial Web sites of Japanese schools. Volunteers consisting of school personnel and PTA (Parent-Teacher Association) members have started Online Patrol to spot malicious contents within Web forums and blogs. In practise, Online Patrol assumes reading through the whole Web contents, which is a task difficult to perform manually. With this paper we introduce a research intended to help PTA members perform Online Patrol more efficiently. We aim to develop a set of tools that can automatically detect malicious entries and report them to PTA members. First, we collected cyber-bullying data from unofficial school Web sites. Then we performed analysis of this data in two ways. Firstly, we analysed the entries with a multifaceted affect analysis system in order to find distinctive features for cyber-bullying and apply them to a machine learning classifier. Secondly, we applied a SVM based machine learning method to train a classifier for detection of cyber-bullying. The system was able to classify cyber-bullying entries with 88.2% of balanced F-score.

연구 동기 및 목표

• PTA 구성원들이 Online Patrol을 보다 효율적으로 수행하도록 도구를 동기부여한다.
• 분석을 위해 비공식 학교 웹사이트에서 사이버-괴롭힘 데이터를 수집한다.
• 사이버-괴롭힘을 정상 콘텐츠와 구분하기 위한 정서적 특징을 탐색한다.
• 제안된 사이버-괴롭힘 탐지 시스템의 기계 학습 분류기를 평가한다.

제안 방법

• 비공식 학교 웹사이트에서 사이버-괴롭힘 데이터를 수집한다.
• 다양한 정서 분석 체계를 적용하여 특징을 추출한다.
• 정서 특징을 사용하여 서포트 벡터 머신(SVM) 분류기를 학습한다.
• 균형 F-점수를 사용하여 분류 성능을 평가한다.

실험 결과

연구 질문

• RQ1 정서적 특징이 사이버-괴롭힘 항목을 다른 온라인 콘텐츠와 구별할 수 있는가?
• RQ2 정서 기반 특징을 가진 SVM 분류기가 학교 관련 포럼에서 사이버-괴롭힘을 탐지하는 데 얼마나 효과적인가?
• RQ3 제안된 시스템의 분류 성능(균형 F-점수)은 어느 수준인가?

주요 결과

• 시스템은 다각적인 정서 분석을 사용하여 사이버-괴롭힘 탐지를 위한 특징을 도출한다.
• 이 특징들로 학습된 SVM 분류기는 사이버-괴롭힘을 88.2%의 균형 F-점수로 탐지한다.
• 이 접근법은 유해 콘텐츠 탐지를 자동화하여 Online Patrol의 활동을 돕는 것을 목표로 한다.
• 데이터는 분석을 위해 비공식 학교 웹사이트에서 수집되었다.