[논문 리뷰] Leveraging cross-platform data to improve automated hate speech detection

John Gallacher|arXiv (Cornell University)|2021. 02. 09.

Hate Speech and Cyberbullying Detection인용 수 7

한 줄 요약

이 논문은 다양한 소셜미디어 플랫폼의 데이터와 모델을 활용하여 일반화 능력과 성능을 향상시키기 위해 슈퍼러닝 앙상블을 사용하는 크로스플랫폼 혐오 발언 탐지 프레임워크를 제안한다. 스태킹된 일반화를 통해 이질적인 학습 데이터와 모델을 효과적으로 통합함으로써, 특히 새로운 플랫폼에서의 탐지 정확도가 뛰어나다.

ABSTRACT

Hate speech is increasingly prevalent online, and its negative outcomes include increased prejudice, extremism, and even offline hate crime. Automatic detection of online hate speech can help us to better understand these impacts. However, while the field has recently progressed through advances in natural language processing, challenges still remain. In particular, most existing approaches for hate speech detection focus on a single social media platform in isolation. This limits both the use of these models and their validity, as the nature of language varies from platform to platform. Here we propose a new cross-platform approach to detect hate speech which leverages multiple datasets and classification models from different platforms and trains a superlearner that can combine existing and novel training data to improve detection and increase model applicability. We demonstrate how this approach outperforms existing models, and achieves good performance when tested on messages from novel social media platforms not included in the original training data.

연구 동기 및 목표

• 기존 혐오 발언 탐지 모델이 단일 플랫폼에서만 학습되고 평가되는 데서 비롯되는 한계를 해결하기 위해.
• 다양한 소셜미디어 플랫폼 간의 이질적인 어휘 패턴을 활용하여 모델의 강건성과 적용 가능성을 향상시키기 위해.
• 다양한 플랫폼에서의 기존 및 신규 학습 데이터를 통합하여 탐지 성능을 향상시키는 통합 프레임워크를 개발하기 위해.
• 기존 학습 도메인을 초월하여 실제 환경에 구현 가능한지 확인하기 위해, 기존에 볼 수 없었던 플랫폼에서의 모델 효과성을 평가하기 위해.

제안 방법

• 기본 모델들이 별도의 플랫폼 데이터셋에서 학습된 예측을 조합하기 위해 슈퍼러닝 앙상블 메타-러닝 모델을 사용하는 접근 방식을 채택한다.
• 각 기본 모델은 개별 소셜미디어 플랫폼의 레이블이 부여된 혐오 발언 데이터에서 학습되며, 플랫폼 특화된 어휘 스타일과 표현 방식을 반영한다.
• 슈퍼러닝은 스태킹된 일반화를 통해 기본 모델 예측을 조합하는 최적의 가중치를 학습하여 전체 정확도를 향상시킨다.
• 모델의 일반화 능력을 향상시키기 위해 다양한 플랫폼에서의 기존 및 신규 수집된 학습 데이터를 통합한다.
• 표준 NLP 메트릭(예: F1-score, 정밀도, 재현율)을 사용하여 다수의 테스트 세트에서 모델 성능을 평가한다.
• 모델은 원래 학습 데이터에 포함되지 않은 플랫폼의 메시지를 포함한 크로스플랫폼 테스트 데이터를 통해 검증된다.

실험 결과

연구 질문

• RQ1 크로스플랫폼 데이터로 학습된 통합 모델이 단일 플랫폼 기반 베이스라인보다 혐오 발언 탐지에서 뛰어난 성능을 보일 수 있는가?
• RQ2 학습 데이터에 포함되지 않은 새로운 소셜미디어 플랫폼으로의 일반화 능력은 어떠한가?
• RQ3 다양한 플랫폼에서의 이질적인 어휘 패턴을 통합할 경우 탐지 성능 향상 정도는 어느 정도인가?
• RQ4 메타-러닝을 통해 다수의 사전 학습된 모델을 조합할 경우 전체 탐지 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 크로스플랫폼 슈퍼러닝 모델은 단일 플랫폼 기반 베이스라인 대비 F1-score에서 뚜렷한 향상을 보이며, 향상된 탐지 성능을 입증한다.
• 모델은 새로운 플랫폼으로의 일반화가 효과적으로 이루어지며, 이전에 볼 수 없었던 소셜미디어 플랫폼의 테스트 데이터에서도 높은 성능을 유지한다.
• 슈퍼러닝 프레임워크는 개별 기본 모델보다 뛰어난 성능을 보이며, 앙상블 학습이 다양한 플랫폼 간 보완적인 패턴을 효과적으로 포착함을 시사한다.
• 이질적인 학습 데이터 통합은 플랫폼 특화된 편향을 줄이고 더 강건하고 적응력 있는 혐오 발언 탐지 모델을 만들어낸다.