[논문 리뷰] Detection of Cyberbullying Incidents on the Instagram Social Network

Homa Hosseinmardi, Sabrina Arredondo Mattson외 4명|arXiv (Cornell University)|2015. 03. 12.

Hate Speech and Cyberbullying Detection인용 수 91

한 줄 요약

이 논문은 선형 SVM 분류기를 사용하여 텍스트, 이미지 및 메타데이터 기능을 결합함으로써 인스타그램에서 사이버불링을 탐지하기 위한 다중모달 접근법을 제안한다. 인간 평가자들이 사이버불링과 더 넓은 의미의 사이버공격성을 함께 평가한 레이블이 부여된 데이터를 통합하여 87%의 정확도를 달성하였으며, 이는 다중모달 기능이 텍스트 중심 방법보다 유의미하게 뛰어나다는 것을 보여준다.

ABSTRACT

Cyberbullying is a growing problem affecting more than half of all American teens. The main goal of this paper is to investigate fundamentally new approaches to understand and automatically detect incidents of cyberbullying over images in Instagram, a media-based mobile social network. To this end, we have collected a sample Instagram data set consisting of images and their associated comments, and designed a labeling study for cyberbullying as well as image content using human labelers at the crowd-sourced Crowdflower Web site. An analysis of the labeled data is then presented, including a study of correlations between different features and cyberbullying as well as cyberaggression. Using the labeled data, we further design and evaluate the accuracy of a classifier to automatically detect incidents of cyberbullying.

연구 동기 및 목표

• 인스타그램과 같은 이미지 기반 소셜미디어에서 사이버불링과 일반적인 사이버공격성을 구분하는 것.
• 관련된 댓글, 이미지 및 사용자 메타데이터와 함께 대규모 인스타그램 미디어 세션 데이터셋을 수집하고 레이블링하는 것.
• 댓글 수, 시간 패턴 및 이미지 콘텐츠와 같은 특징과 사이버불링 간의 상관관계를 분석하는 것.
• 텍스트 중심 접근법을 초월해 정확도를 향상시키는 다중모달 분류기 설계 및 평가하는 것.
• 반복적인 부정성과 지위의 불균형을 특징으로 하는 사이버불링과 일반적인 사이버공격성을 구분하는 대규모, 인간 레이블링 데이터셋 제공

제안 방법

• 스노우볼 샘플링을 사용하여 25,000개의 공개 사용자 프로필에서 697,000개의 인스타그램 미디어 세션을 수집하였다.
• Crowdflower를 통한 커뮤니티 기반 레이블링 연구를 수행하였으며, 각 미디어 세션에 대해 5명의 레이블러가 참여하여 다수결 기준을 통해 사이버불링을 정의하였다.
• 텍스트 특징을 추출하기 위해 유니그램과 3-그램을 사용하였으며, 차원을 200개로 감소시키기 위해 SVD를 적용하였다.
• 팔로워/팔로잉 수, 좋아요/댓글 행동과 같은 메타데이터 및 이미지 카테고리 레이블을 특징 집합에 통합하였다.
• SVD로 감소된 텍스트 특징와 병합하기 전에 메타데이터 및 이미지 카테고리 특징을 커널 주성분 분석(Kernel PCA)을 통해 20개의 성분으로 감소시켰다.
• 결합된 감소된 특징 집합을 기반으로 선형 SVM 분류기를 훈련시켜 높은 정밀도와 재현율을 달성하여 사이버불링을 탐지하였다.

실험 결과

연구 질문

• RQ1 이미지 기반 소셜미디어인 인스타그램에서 사이버불링과 일반적인 사이버공격성을 어떻게 구분할 수 있는가?
• RQ2 댓글 수, 시간적 댓글 집합, 이미지 콘텐츠 등의 특징이 레이블링된 사이버불링 사례와 어떻게 상관관계가 있는가?
• RQ3 텍스트, 이미지, 메타데이터를 포함한 다중모달 특징이 텍스트 중심 접근법에 비해 사이버불링 탐지 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 인간 레이블러들은 사이버불링을 식별하는 데 얼마나 일관된가, 그리고 그들의 일치도에 영향을 주는 요소는 무엇인가?
• RQ5 인스타그램 미디어 세션에서 부정적인 콘텐츠의 몇 퍼센트가 실제로 사이버불링이며, 일반적인 사이버공격성인가?

주요 결과

• 고도의 욕설 수준을 보이는 미디어 세션의 약 48%는 다수결 기준에 따라 사이버불링으로 분류되지 않았으며, 이는 모든 부정적 콘텐츠가 사이버불링을 의미하지는 않는다는 것을 시사한다.
• 레이블러들은 사이버불링 분류에 대해 강한 일치도를 보였으며, 빈도와 지위의 불균형을 기반으로 한 사이버불링 정의가 인간에게 신뢰성 있게 해석될 수 있음을 보여준다.
• 상당한 비율의 미디어 세션에서 사이버공격성은 존재했지만 사이버불링 기준을 충족하지 못했으며, 이는 두 개념을 구분하는 것이 중요하다는 점을 강조한다.
• 사이버불링 탐지와 총 댓글 수 및 1시간 이내의 댓글 시간적 집합 패턴 사이에 강한 상관관계가 있었으며, 이는 급격한 댓글 폭발 패턴이 핵심 신호임을 시사한다.
• 다중모달 분류기는 선형 SVM를 통해 텍스트, 이미지 및 메타데이터 특징을 통합함으로써 87%의 정확도를 달성하였으며, 기준 사례인 52% 대비 35퍼센트포인트 향상되었다.
• 이미지 카테고리와 메타데이터의 추가로 정확도가 0.71(메타데이터 전용)에서 0.87로 상승하였으며, 이는 높은 성능을 위해 다중모달 통합이 필수적임을 보여준다.