[논문 리뷰] Cyberbullying Detection -- Technical Report 2/2018, Department of Computer Science AGH, University of Science and Technology

Michał Ptaszyński, Gniewosz Leliwa외 2명|arXiv (Cornell University)|2018. 08. 02.

Advanced Malware Detection Techniques참고 문헌 3인용 수 10

한 줄 요약

이 논문은 기계적 트루의 방식을 피하고 철저한 전문가 지도 하에 수행된 비기계적 인식 과정을 통해 Formspring 데이터셋에서 유도된 고품질의 새로운 주석이 부여된 사이버불링 탐지 데이터셋을 제시한다. Samurai 사이버불링 탐지 시스템은 정확도, 정밀도, 재현율 모든 지표에서 다섯 개의 상용 도구와 FastText를 능가하며, 실시간 콘텐츠 모니터링에서의 효과성과 적응 가능성까지 입증한다.

ABSTRACT

The research described in this paper concerns automatic cyberbullying detection in social media. There are two goals to achieve: building a gold standard cyberbullying detection dataset and measuring the performance of the Samurai cyberbullying detection system. The Formspring dataset provided in a Kaggle competition was re-annotated as a part of the research. The annotation procedure is described in detail and, unlike many other recent data annotation initiatives, does not use Mechanical Turk for finding people willing to perform the annotation. The new annotation compared to the old one seems to be more coherent since all tested cyberbullying detection system performed better on the former. The performance of the Samurai system is compared with 5 commercial systems and one well-known machine learning algorithm, used for classifying textual content, namely Fasttext. It turns out that Samurai scores the best in all measures (accuracy, precision and recall), while Fasttext is the second-best performing algorithm.

연구 동기 및 목표

• 기계적 트루를 사용하지 않고 전문가 지도 하에 체계적인 프로세스를 적용해 Formspring 데이터셋을 재주석함으로써 사이버불링 탐지에 더 일관되고 신뢰할 수 있는 골드표준 데이터셋을 구축하기 위해.
• 새로운 주석을 기반으로 Samurai 사이버불링 탐지 시스템의 성능을 다수의 상용 시스템과 FastText와 비교하기 위해.
• 기존 주석에서 발생하는 모순, 특히 경미한 성 관련 콘텐츠나 합의된 폭력적 언어와 같은 모호한 사례들에 대해 식별하고 해결하기 위해.
• 사이버불링 탐지와 같은 민감한 작업에서의 향후 NLP 주석 작업을 위한 최선의 실천 방안을 수립하기 위해, 명확한 가이드라인, 피로 관리, 전문가 감독의 중요성을 강조하기 위해.

제안 방법

• 기계적 트루를 회피하기 위해 AGH 과학기술대학교의 훈련된 주석자들이 참여한, 카글에 공개된 Formspring 데이터셋을 재주석함으로써 일관성과 품질을 향상시켰다.
• 특히 합의된 모욕어 및 경미한 성 관련 콘텐츠와 같은 극단적인 케이스를 다루기 위해 구체적인 주석 가이드라인을 개발하였으며, 긍정적 및 부정적 예시를 포함하였다.
• 주석자 간의 논의와 전문가의 참여를 포함한 다단계 주석 프로세스를 구현하여 가이드라인에 부합하는 일관성을 확보하였다.
• Samurai 딥 뉴럴 네트워크에 상징적 거버넌스 레이어를 적용하여 문법 규칙과 전문 지식을 통합함으로써 대규모 레이블이 필요한 데이터셋에 대한 의존도를 감소시켰다.
• 객관성을 확보하기 위해 AGH 과학기술대학교가 중립적으로 중재하는 블라인드 평가 프레임워크를 도입하여, Samurai 및 기타 시스템이 원본 주석과 새로운 주석 모두에서 테스트되었다.
• 거짓 양성 및 거짓 음성 사례를 분석하여 반복적인 주석 문제와 시스템의 한계를 특정하였으며, 특히 모호한 콘텐츠 유형에서의 문제를 중심으로 분석하였다.

실험 결과

연구 질문

• RQ1 기계적 트루를 사용하지 않고 전문가 지도 하에 주석을 수행할 경우, 사이버불링 탐지 데이터셋의 일관성과 신뢰성은 어떻게 향상되는가?
• RQ2 새로운 주석 프로세스는 원래의 커뮤니티 기반 주석에 비해 사이버불링 탐지 시스템의 성능을 어느 정도 향상시키는가?
• RQ3 동일한 벤치마크에서 Samurai 시스템은 상용 솔루션과 FastText에 비해 정확도, 정밀도, 재현율 측면에서 어떻게 비교되는가?
• RQ4 사이버불링 탐지에서 주석의 일관성 문제의 주요 원인은 무엇이며, 개선된 가이드라인과 프로세스 설계로 어떻게 이를 완화할 수 있는가?
• RQ5 기호적 거버넌스를 갖춘 하이브리드 딥 러닝 시스템은 미묘하거나 맥락에 따라 달라지는 사이버불링 탐지에서 더 높은 성능과 강건성을 달성할 수 있는가?

주요 결과

• 새로운 주석 프로세스는 원래의 기계적 트루 기반 주석에 비해 훨씬 더 일관된 데이터셋을 생성하였으며, 이는 모든 테스트된 사이버불링 탐지 시스템의 성능 향상으로 입증되었다.
• Samurai 시스템은 정확도, 정밀도, 재현율 모든 평가 지표에서 다섯 개의 상용 도구와 FastText를 앞서는 최고의 성능을 기록하였다.
• 거짓 양성 및 거짓 음성의 대부분은 경미한 성 관련 콘텐츠와 합의된 폭력적 언어를 둘러싼 모호한 사례에서 기인하였으며, 더 명확한 주석 가이드라인이 필요함을 시사하였다.
• 주석 오류의 상당 부분은 특히 합의된 폭력적 언어와 비합의된 폭력적 언어를 구분하는 데서 가이드라인의 일관성 없는 적용에서 기인하였다.
• 오류 분석 결과, 79개의 잘못된 레이블 중 30개는 명백한 공격적 의도 없이 직접적인 모욕어를 포함하였고, 11개는 주석 규칙과 충돌하였다. 이는 가이드라인의 결함을 드러내었다.
• 본 연구는 잘 설계된 시스템인 Samurai를 통해 고정밀도, 고재현율의 사이버불링 탐지가 가능함을 입증하였으며, 실시간 콘텐츠 모니터링의 실현 가능성과 신뢰성을 높였다.