[논문 리뷰] Detecting Online Hate Speech Using Context Aware Models

Lei Gao, Ruihong Huang|arXiv (Cornell University)|2017. 10. 20.

Hate Speech and Cyberbullying Detection참고 문헌 16인용 수 32

한 줄 요약

이 논문은 전체적인 맥락 정보를 유지하는 새로운 주석 처리된 Fox News 댓글 스레드 코퍼스를 사용하여 맥락 인식 hate speech 검출 모델을 제안한다. 사용자명, 뉴스 제목, 스레드된 댓글과 같은 맥락 특징을 통합한 로지스틱 회귀 및 신경망 모델을 도입하여 강력한 베이스라인 대비 F1 점수 10% 향상시키며, 앙상블 모델이 가장 우수한 성능을 보였다.

ABSTRACT

In the wake of a polarizing election, the cyber world is laden with hate speech. Context accompanying a hate speech text is useful for identifying hate speech, which however has been largely overlooked in existing datasets and hate speech detection models. In this paper, we provide an annotated corpus of hate speech with context information well kept. Then we propose two types of hate speech detection models that incorporate context information, a logistic regression model with context features and a neural network model with learning components for context. Our evaluation shows that both models outperform a strong baseline by around 3% to 4% in F1 score and combining these two models further improve the performance by another 7% in F1 score.

연구 동기 및 목표

• 기존 hate speech 데이터셋 및 모델에서 맥락의 부족 문제를 해결하며, 일반적으로 주변 텍스트, 사용자명, 기사 맥락을 忽시하는 경향이 있음.
• 사용자명, 기사 제목, 대화 체인을 포함한 전체 스레드 맥락을 유지한 1,528개의 Fox News 사용자 댓글로 구성된 새로운 주석 처리 코퍼스 개발.
• 기존 기계학습(로지스틱 회귀) 및 딥러닝(LSTM에 주목 기능 포함) 모델에 맥락 특징을 통합하여 hate speech 검출 성능 향상.
• 특히 암시적 또는 암묵적인 hate speech를 탐지하는 데 있어 맥락 인식 모델이 맥락 무시 모델보다 뚜렷이 뛰어나다는 것을 입증.
• 다양한 모델 유형을 조합함으로써 상호 보완적인 강점을 발휘하여 종합적인 성능 향상 달성 가능함을 보여줌.

제안 방법

• 10개의 Fox News 논란 스레드에서 1,528개의 사용자 댓글을 주석 처리하여 전체 맥락(사용자명, 기사 제목, 스레드된 대화) 유지.
• 로지스틱 회귀 모델을 위한 맥락 특징 추출: 댓글 및 맥락에서 문자 n-그램, 단어 n-그램, LIWC, NRC 감성 특징 추출.
• 장기적 의존성과 hate 유도 문장 강조를 위해 양방향 LSTM 모델에 주목 기능을 통합.
• 댓글 전용 입력과 맥락 강화 입력을 각각 사용해 학습한 모델을 비교하여 맥락의 영향을 분리.
• 로지스틱 회귀 및 신경망 모델의 예측을 조합하기 위해 점수 평균화 및 최대 투표 전략을 사용한 앙상블 모델 구축.
• 모델 평가를 위해 F1 점수, AUC, 정밀도, 재현율을 사용하여 다양한 설정 간 성능 비교.

실험 결과

연구 질문

• RQ1 사용자명, 기사 제목, 대화 스레드와 같은 맥락 정보를 통합할 경우 hate speech 검출 성능 향상 정도는 어느 정도인가?
• RQ2 맥락을 포함할 때 특징 기반 로지스틱 회귀 모델과 신경망 모델 간의 hate speech 검출 성능는 어떻게 비교되는가?
• RQ3 로지스틱 회귀와 신경망 예측을 조합한 앙상블 모델이 개별 모델보다 뛰어난 성능을 보일 수 있는가?
• RQ4 어떤 종류의 hate speech가 로지스틱 회귀 모델에 의해 더 잘 탐지되는가? 그리고 그 이유는 무엇인가?
• RQ5 맥락 인식 모델은 표준 모델이 놓칠 수 있는 암묵적, 암시적, 철자 오류가 있는 hate speech를 어떻게 처리하는가?

주요 결과

• 맥락 인식 로지스틱 회귀 모델은 댓글 텍스트만 사용한 베이스라인 대비 약 4%의 F1 점수 향상.
• 주목 기능을 통합한 신경망 모델은 댓글 전용 모델 대비 약 4%의 F1 점수 향상되었으며, 특히 긴 복잡한 댓글에서 hate를 탐지하는 데 뛰어난 성능 보임.
• 로지스틱 회귀와 신경망 예측을 조합한 앙상블 모델은 가장 강력한 베이스라인 대비 F1 점수 10% 향상.
• 최대 점수 앙상블 모델은 정밀도와 유사한 수준에서 재현율을 20% 이상 향상시켜 이전에 놓쳤던 혐오 발언을 더 잘 탐지함.
• 평균 점수 앙상블 모델은 약 7%의 AUC 향상으로 전체 분류 능력 향상됨.
• 로지스틱 회귀 모델은 OOV 단어, 철자 오류(예: 'femanazis') 및 대문자로 된 모욕어(예: 'FBLM')를 탐지하는 데 특히 효과적이었으며, 강력한 문자 수준 n-그램 특징 덕분임.