[논문 리뷰] Hate Speech Classification Using SVM and Naive BAYES

D. C Asogwa, C. I Chukwuneke외 2명|arXiv (Cornell University)|2022. 03. 21.

Hate Speech and Cyberbullying Detection인용 수 14

한 줄 요약

이 논문은 지원벡터기계(SVM)와 나이브 베이즈(NB) 알고리즘을 사용하여 텍스트 데이터로부터 특징을 추출함으로써 자동화되고 해석 가능한 온라인 혐오 발언 탐지가 가능한 지도 학습 기반 혐오 발언 분류 프레임워크를 제안한다. 이 방법은 테스트 세트에서 SVM로 99%의 정확도를, NB로 50%의 정확도를 달성하여 실시간 소셜 미디어 플랫폼에 구현하기에 높은 성능과 모델의 해석 가능성 사이의 균형을 제공한다.

ABSTRACT

The spread of hatred that was formerly limited to verbal communications has rapidly moved over the Internet. Social media and community forums that allow people to discuss and express their opinions are becoming platforms for the spreading of hate messages. Many countries have developed laws to avoid online hate speech. They hold the companies that run the social media responsible for their failure to eliminate hate speech. But as online content continues to grow, so does the spread of hate speech However, manual analysis of hate speech on online platforms is infeasible due to the huge amount of data as it is expensive and time consuming. Thus, it is important to automatically process the online user contents to detect and remove hate speech from online media. Many recent approaches suffer from interpretability problem which means that it can be difficult to understand why the systems make the decisions they do. Through this work, some solutions for the problem of automatic detection of hate messages were proposed using Support Vector Machine (SVM) and Naïve Bayes algorithms. This achieved near state-of-the-art performance while being simpler and producing more easily interpretable decisions than other methods. Empirical evaluation of this technique has resulted in a classification accuracy of approximately 99% and 50% for SVM and NB respectively over the test set. Keywords: classification; hate speech; feature extraction, algorithm, supervised learning

연구 동기 및 목표

• 소셜 미디어와 커뮤니티 포럼에서 증가하는 온라인 혐오 발언 문제를 다루기 위해.
• 수동 콘텐츠 검토에 의존도를 줄이기 위한 자동화되고 확장 가능한 혐오 발언 탐지 솔루션을 개발하기 위해.
• 많은 딥 러닝 기반 접근 방식에서의 주요 한계인 모델의 해석 가능성 향상을 위해.
• 전통적인 기계 학습 모델인 SVM과 나이브 베이즈의 성능을 정확도와 해석 가능성에 중점을 두고 평가하기 위해.

제안 방법

• 연구는 혐오 발언 탐지에 사용하기 위한 레이블이 부여된 텍스트 데이터를 활용한 지도 학습을 수행한다.
• 표준 자연어 처리 기법을 사용하여 텍스트 특징을 추출하며, 이는 보통 Bag-of-Words 또는 TF-IDF 표현 방식을 포함한다.
• 지원벡터기계(SVM) 모델은 학습된 결정 경계를 기반으로 텍스트를 혐오 발언 또는 비혐오 발언으로 분류하도록 훈련된다.
• 나이브 베이즈 분류기는 조건부 확률 가정을 사용하여 특징 빈도에서 클래스의 가능도를 추정한다.
• 두 모델 모두 표준화된 테스트 세트에서 정확도와 해석 가능성 측면에서 성능을 비교하기 위해 평가된다.
• 모델 입력 품질 향상을 위해 토큰화, 불용어 제거, 표준화 등의 특징 선택 및 전처리 단계가 적용된다.

실험 결과

연구 질문

• RQ1 SVM과 나이브 베이즈와 같은 전통적인 기계 학습 모델이 온라인 텍스트에서 혐오 발언을 높은 정확도로 분류할 수 있는가?
• RQ2 혐오 발언 탐지에서 SVM과 나이브 베이즈는 분류 성능와 해석 가능성 측면에서 어떻게 비교되는가?
• RQ3 이러한 모델들은 복잡한 딥 러닝 모델에 비해 얼마나 투명한 의사결정 과정을 제공할 수 있는가?
• RQ4 실제 소셜 미디어 환경에서 대규모 혐오 발언 탐지에 간단하고 해석 가능한 모델을 사용하는 것이 실현 가능한가?

주요 결과

• SVM 모델은 테스트 세트에서 약 99%의 분류 정확도를 달성하여 혐오 발언 탐지에서 뛰어난 성능을 보였다.
• 나이브 베이즈 모델은 동일한 테스트 세트에서 약 50%의 분류 정확도를 달성하여 이 특정 데이터셋이나 작업에 대해 제한된 효과성을 보였다.
• 나이브 베이즈의 낮은 정확도에도 불구하고, 확률적 기반과 투명한 의사결정 논리 덕분에 더 높은 해석 가능성을 제공한다.
• 특징 중요도 분 析와 결합할 경우 SVM 모델은 높은 정확도와 합리적인 해석 가능성 사이의 균형을 잘 유지한다.
• 연구는 적절하게 튜닝되고 특징 엔지니어링된 단순한 모델, 즉 SVM과 NB가 근접한 최첨단 성능을 달성할 수 있음을 확인하였다.
• 결과는 정확도와 해석 가능성 사이의 상충 관계를 드러내며, 실무적 구현에 있어 SVM이 더 실현 가능한 솔루션임을 시사한다.