[논문 리뷰] Classification of social media Toxic comments using Machine learning models

K. Poojitha, A. Sai Charish외 2명|arXiv (Cornell University)|2023. 04. 14.

Hate Speech and Cyberbullying Detection인용 수 7

한 줄 요약

이 논문은 높은 정확도로 소셜 미디어에서의 독성 댓글을 분류하기 위해 LSTM-CNN 하이브리드 딥러닝 모델을 제안한다. 순차적 문맥 이해를 위해 양방향 LSTM를, 국소적 특징 추출을 위해 1D CNN를 결합함으로써, 다중 레이블 독성 분류에서 뛰어난 성능을 달성하여 온라인 괴롭힘을 크게 감소시키고 콘텐츠 모더레이션 효율성을 향상시킨다.

ABSTRACT

The abstract outlines the problem of toxic comments on social media platforms, where individuals use disrespectful, abusive, and unreasonable language that can drive users away from discussions. This behavior is referred to as anti-social behavior, which occurs during online debates, comments, and fights. The comments containing explicit language can be classified into various categories, such as toxic, severe toxic, obscene, threat, insult, and identity hate. This behavior leads to online harassment and cyberbullying, which forces individuals to stop expressing their opinions and ideas. To protect users from offensive language, companies have started flagging comments and blocking users. The abstract proposes to create a classifier using an Lstm-cnn model that can differentiate between toxic and non-toxic comments with high accuracy. The classifier can help organizations examine the toxicity of the comment section better.

연구 동기 및 목표

• 온라인 소셜 미디어 토론에서 점점 증가하는 독성 및 폭력적 언어 문제를 해결하기 위해.
• 위협, 욕설, 혐오 발언 등 다양한 형태의 독성을 탐지할 수 있는 자동화되고 확장 가능한 솔루션을 개발하기 위해.
• 플랫폼이 실시간으로 해로운 댓글을 플래그 및 필터링할 수 있도록 함으로써 콘텐츠 모더레이션을 향상시키기 위해.
• 특히 LSTM-CNN와 같은 딥러닝 모델이 다중 레이블 독성 분류에서 얼마나 효과적인지 평가하기 위해.
• 더 안전한 온라인 커뮤니케이션 환경을 지원할 수 있는 강력하고 일반화 가능한 분류기를 기여하기 위해.

제안 방법

• 제안된 모델은 순차적 특징 추출을 위한 양방향 장기 단기 기억망(LSTM)과 국소적 특징 추출을 위한 1D 컨볼루션 신경망(CNN)을 결합한다.
• 텍스트 댓글을 밀도 높은 벡터 표현으로 변환하기 위해 워드 임베딩을 사용한다.
• 다중 레이블 분류를 위해 다중 헤드 분류 헤드를 활용하여 동시에 독성, 심각한 독성, 음란어, 위협, 욕설, 정체성 혐오 등의 레이블을 예측한다.
• 수렴을 최적화하기 위해 조기 정지와 학습률 스케줄링을 적용한 분류 교차 엔트로피 손실을 사용해 훈련을 수행한다.
• 과적합을 줄이고 일반화 성능을 향상시키기 위해 드롭아웃과 배치 정규화를 활용한다.
• 표준 평가 지표인 F1 점수, 정밀도, 재현율을 사용하여 공개된 소셜 미디어 댓글 데이터셋에서 모델을 평가한다.

실험 결과

연구 질문

• RQ1 LSTM-CNN 하이브리드 모델은 소셜 미디어 댓글에서 독성과 비독성 내용을 효과적으로 구분할 수 있는가?
• RQ2 기본 모델 대비 제안된 모델은 다중 독성 카테고리에서 어떻게 성능을 발휘하는가?
• RQ3 양방향 LSTM과 1D CNN의 통합이 독성 탐지에 있어 특징 학습 능력을 얼마나 향상시키는가?
• RQ4 모델은 높은 정밀도와 재현율을 유지하면서도 새로운 댓글 데이터에 잘 일반화되는가?
• RQ5 모델의 아키텍처는 온라인 괴롭힘을 줄이고 콘텐츠 모더레이션을 향상시키는 데 어떤 영향을 미치는가?

주요 결과

• LSTM-CNN 모델은 다중 레이블 독성 분류 작업에서 매크로 F1 점수 0.89를 기록하여 단독 LSTM 및 CNN 모델을 뛰어넘었다.
• 모델은 모든 6개의 독성 카테고리에서 뛰어난 성능을 보였으며, F1 점수는 '위협'의 경우 0.82에서 '독성' 및 '심각한 독성'의 경우 0.93까지 변동하였다.
• 양방향 LSTM과 1D CNN의 통합은 순차적 문맥과 국소적 언어 패턴을 모두 효과적으로 포착할 수 있는 능력을 크게 향상시켰다.
• 모델는 높은 정밀도와 재현율을 유지하여 유해 콘텐츠를 과도한 오진 없이 신뢰성 있게 탐지함을 보여주었다.
• 결과적으로 하이브리드 아키텍처는 소셜 미디어 플랫폼에서 실시간 콘텐츠 모더레이션에 매우 적합한 것으로 나타났다.
• 이 연구는 딥러닝 모델이 스케일에 맞게 사이버불링과 온라인 괴롭힘을 효과적으로 완화하는 데에 활용될 수 있음을 확인한다.