[논문 리뷰] Investigating Factors Influencing the Latency of Cyberbullying Detection

Rahat Ibn Rafiq, Homa Hosseinmardi외 3명|arXiv (Cornell University)|2016. 11. 16.

Hate Speech and Cyberbullying Detection참고 문헌 12인용 수 5

한 줄 요약

이 논문은 다단계 아키텍처를 사용하여 온라인 소셜 네트워크에서 확장 가능하고 저지연 시간의 사이버불링 감지 시스템을 제안한다. 초기 예측기, 동적 다중 수준 우선순위 스케줄러, 증분 분류 기법을 포함한다. 실제 Vine 데이터에서 평가한 결과, 경고 응답 시간이 최대 7배 감소했으며, 자원 사용량을 최소화하면서도 100,000개의 활성 미디어 세션으로도 효율적으로 확장되면서 높은 정확도를 유지한다.

ABSTRACT

Cyberbullying in online social networks has become a critical problem, especially among teenagers who are social networks' prolific users. As a result, researchers have focused on identifying distinguishing features of cyberbullying and developing techniques to automatically detect cyberbullying incidents. While this research has resulted in developing highly accurate classifiers, two key practical issues related to identifying cyberbullying have largely been ignored, namely scalability of cyberbullying detection services and timeliness of raising alerts whenever a cyberbullying incident is suspected. These two issues are the subject of this paper. We propose a multi-stage cyberbullying detection solution that drastically reduces the classification time and the time to raise cyberbullying alerts. The proposed solution is highly scalable, does not sacrifice accuracy for scalability, and is highly responsive in raising alerts. The solution is comprised of three novel components, an initial predictor, a multilevel priority scheduler, and an incremental classification mechanism. We have implemented this solution and utilized data obtained from the Vine online social network to demonstrate the utility of each of these components via a detailed performance evaluation. We show that our complete solution is significantly more scalable and responsive than the current state-of-the-art.

연구 동기 및 목표

• 온라인 소셜 네트워크에서 확장 가능하고 반응성이 뛰어난 사이버불링 감지 시스템의 부족을 해결하기 위해.
• 감지 정확도를 희생시키지 않고도 의심스러운 사이버불링 사건의 경고까지의 시간을 단축하기 위해.
• 고속의 실시간 소셜 미디어 데이터 스트림을 효율적으로 처리할 수 있는 솔루션을 설계하기 위해.
• 동적 신뢰도 점수를 기반으로 고위험 미디어 세션을 우선순위로 지정하여 조기에 간섭할 수 있도록 하기 위해.
• 증분적 특징 재사용과 지능적인 스케줄링을 통해 계산 효율성을 보장하기 위해.

제안 방법

• 초기 예측기는 최소한의 세션 데이터를 사용하여 높은 재현율을 확보하면서도 신규 미디어 세션에 대해 높음/낮음 우선순위를 할당한다.
• 동적 다중 수준 우선순위 스케줄러는 이전 예측에 대한 신뢰도에 따라 분류 빈도를 조정하며, 고위험 세션을 우선 처리한다.
• 증분 분류 기법은 이후 평가 시의 시간 오버헤드를 줄이기 위해 이전 특징 계산을 재사용한다.
• 시스템은 각 반복마다 10개의 댓글 단위로 미디어 세션을 처리하여 반응성과 계산 비용을 균형 있게 조절한다.
• 실제 Vine 데이터셋(하루 15억 개의 루프 포함)을 사용하여 프로토타입을 구현하고 평가하였다.
• 메모리 및 CPU 자원 사용량을 다양한 부하 조건에서 측정하여 확장성을 평가하였다.

실험 결과

연구 질문

• RQ1 실시간 소셜 미디어 환경에서 사이버불링 감지 시스템의 반응성을 향상시켜 경고 지연 시간을 줄일 수 있는 방법은 무엇인가?
• RQ2 고속도의 데이터 스트림에서 감지 정확도를 유지하면서도 확장성을 극대화할 수 있는 설계 선택은 무엇인가?
• RQ3 성능 저하 없이 계산 오버헤드를 줄이기 위해 증분 분류 기법이 얼마나 효과적인가?
• RQ4 단순 라운드로빈 스케줄링 대비 동적 우선순위 할당이 시스템의 반응성 향상에 얼마나 기여하는가?
• RQ5 증가하는 부하 조건 하에서 제안된 시스템의 자원 효율성은 어떠한가?

주요 결과

• 동적 우선순위 스케줄러는 단순 라운드로빈 스케줄러 대비 평균 경고 시간을 거의 6배 감소시켰다.
• 1회 반복당 10개의 댓글을 처리하는 방식은 전체 댓글 처리 방식 대비 약 7배의 응답 시간 향상을 보였다.
• 100,000개의 활성 미디어 세션을 처리하면서도 정확도를 유지했으며, 메모리 사용량은 500MB, CPU 사용량은 15.5%에 머물렀다.
• 512GB 메모리가 탑재된 단일 서버 인스턴스는 최대 1.1×10⁸개의 활성 미디어 세션을 지원할 수 있었으며, 이는 강력한 수평 확장성을 시사한다.
• 고신뢰도이자 고위험 세션에 계산 자원을 집중시음으로써 조기에 감지를 가능하게 하여 간섭의 적시성 향상을 이룬다.
• 증분 분류 방법은 이전 특징 계산을 재사용함으로써 시간 오버헤드를 크게 감소시켰다.