[논문 리뷰] Prediction of Cyberbullying Incidents on the Instagram Social Network

Homa Hosseinmardi, Sabrina Arredondo Mattson외 4명|arXiv (Cornell University)|2015. 08. 25.

Hate Speech and Cyberbullying Detection참고 문헌 24인용 수 77

한 줄 요약

이 논문은 인간 레이블링 데이터를 활용하여 텍스트, 시각적, 사회적 네트워크 특징을 결합한 다중모달 접근법을 제안하여 인스타그램에서 사이버불링을 탐지하고 예측한다. MaxEnt 분류기를 사용하여 이미지 및 사용자 메타데이터를 통합함으로써 사이버불링 예측에서 76%의 리콜과 62%의 정밀도를 달성하였으며, 이는 단독으로 탐지에 영향을 미치지 못하더라도 비텍스트 특징이 예측에 있어 핵심적임을 시사한다.

ABSTRACT

Cyberbullying is a growing problem affecting more than half of all American teens. The main goal of this paper is to investigate fundamentally new approaches to understand and automatically detect and predict incidents of cyberbullying in Instagram, a media-based mobile social network. In this work, we have collected a sample data set consisting of Instagram images and their associated comments. We then designed a labeling study and employed human contributors at the crowd-sourced CrowdFlower website to label these media sessions for cyberbullying. A detailed analysis of the labeled data is then presented, including a study of relationships between cyberbullying and a host of features such as cyberaggression, profanity, social graph features, temporal commenting behavior, linguistic content, and image content. Using the labeled data, we further design and evaluate the performance of classifiers to automatically detect and pre- dict incidents of cyberbullying and cyberaggression.

연구 동기 및 목표

• 미디어 기반 소셜 네트워크인 인스타그램에서 사이버불링을 일반적인 사이버공격과 구분하는 것.
• 크라우드소싱을 통한 인간 레이블링을 활용해 3,165K개의 인스타그램 미디어 세션(이미지 및 댓글 포함)에 대한 사이버불링 및 사이버공격 데이터셋을 수집하고 레이블링하는 것.
• 언어적 콘텐츠, 이미지 콘텐츠, 저속어, 사회적 네트워크 역학, 시간에 따른 댓글 행동과 같은 다양한 특징 간의 관계를 분석하는 것.
• 텍스트, 이미지, 사용자 메타데이터를 통합한 다중모달 분류기를 설계하고, 사이버불링 사건의 탐지 및 예측에 대해 평가하는 것.
• 초기 행동 신호를 활용하여 완전한 패턴이 형성되기 이전에 사이버불링의 발생을 예측하는 예측 모델을 개발하는 것.

제안 방법

• 25,000명의 사용자 프로필에서 3,165K개의 인스타그램 미디어 세션(이미지, 관련 댓글, 메타데이터 포함)을 수집하였다.
• CrowdFlower를 통한 크라우드소싱 레이블링 연구를 수행하여 사이버불링 및 사이버공격에 대한 기준 레이블을 할당하였으며, 레이블러들이 이미지와 댓글을 함께 보며 맥락적 정확성을 확보하였다.
• 다양한 모odal에서 특징을 추출하고 분석하였다: 언어적 특징(저속어, 감성, '죽음' 또는 '종교'와 같은 주제 카테고리), 이미지 콘텐츠(수동 레이블링 방식), 사회적 네트워크 특성(좋아요 수, 팔로워 수, 팔로잉 수, 게시 시간).
• MaxEnt 및 SVM를 사용하여 다중모달 분류기를 설계하고 평가하였으며, 탐지 및 예측 작업에 텍스트, 이미지, 사용자, 시간적 특징의 조합을 통합하였다.
• 댓글 간격 및 댓글 이력(예: 5-, 10-, 15개 댓글 윈도우)을 시간적 특징으로 사용하여 행동 패턴을 모델링하였다.
• 표준 평가 지표(F1-측정, 정밀도, 리콜)를 사용하여 성능을 평가하였으며, 특징 중요도 평가를 위해 아블레이션 연구를 실시하였다.

실험 결과

연구 질문

• RQ1 언어적, 시각적, 사회적 네트워크 특징이 인스타그램에서 사이버불링 사건과 어떻게 관련이 있는가?
• RQ2 이미지 콘텐츠 및 사용자 메타데이터와 같은 비텍스트 특징이 텍스트 전용 모델에 비해 사이버불링 예측에 얼마나 기여하는가?
• RQ3 댓글 빈도, 시간, 그리고 미디어 세션 내 사이버불링 존재 여부 간의 관계는 어떠한가?
• RQ4 사이버공격와 사이버불링의 구분이 분류기 성능 및 레이블링 일관성에 미치는 영향은 무엇인가?
• RQ5 댓글 작성 및 사용자 상호작용의 초기 행동 패턴은 완전한 사건이 형성되기 이전에 사이버불링의 발생을 예측할 수 있는가?

주요 결과

• 레이블러들은 전체 맥락을 제공받았을 때 사이버불링과 사이버공격를 식별하는 데 높은 일치도를 보였으며, 이는 신뢰할 수 있는 인간 판단이 가능함을 시사한다.
• 매우 많은 수의 미디어 세션에서 저속어와 사이버공격가 포함되어 있었지만 사이버불링으로 레이블링되지 않았으며, 이는 단순한 저속어 탐지로는 지속적이고 패턴 기반의 사이버불링을 식별하기에 부족함을 보여준다.
• 부정성 비율이 60~70% 이상인 세션은 사이버불링으로 분류될 가능성이 낮아, 극도의 부정성은 항상 권리 불균형의 반복적 공격를 의미하지는 않는다는 점을 시사한다.
• 사이버불링 사건은 높은 댓글 빈도와 낮은 포스트 당 좋아요 수와 관련이 있었으며, 이는 증가한 적대감과 감소한 사회적 지지의 징후로 해석된다.
• '마약'과 같은 이미지 콘텐츠 카테고리는 사이버불링과 강하게 연관되어 있었지만, '타투'와 '음식'은 유의미한 상관관계를 보이지 않았다.
• MaxEnt 분류기는 사용자 성향, 이미지 콘텐츠, 게시 시간, 캡션, 댓글 이력을 통합하여 사이버불링 예측에서 76%의 리콜과 62%의 정밀도를 달성하였으며, 이는 비텍스트 특징이 효과적인 예측에 필수적임을 입증한다.