[논문 리뷰] Leveraging Intra-User and Inter-User Representation Learning for Automated Hate Speech Detection

Jing Qian, Mai ElSherief외 2명|arXiv (Cornell University)|2018. 04. 09.

Hate Speech and Cyberbullying Detection참고 문헌 12인용 수 7

한 줄 요약

이 논문은 트위터에서 혐오 발언 탐지 성능을 향상시키기 위해 사용자 내부(사용자의 이전 트윗) 및 사용자 간(다른 사용자로부터의 의미적으로 유사한 트윗) 표현 학습을 동시에 활용하는 새로운 딥러닝 프레임워크를 제안한다. 강화 학습 기반 양방향 LSTM을 사용해 관련성이 높은 사용자 간 트윗을 동적으로 선택하고, 이를 사용자별 표현과 결합함으로써, 강력한 양방향 LSTM 기반 모델의 F-스코어를 10.1% 향상시켰다. 이는 노이즈가 많고 짧은 소셜 미디어 콘텐츠에서 거짓 양성 및 거짓 음성 수를 크게 감소시켰다.

ABSTRACT

Hate speech detection is a critical, yet challenging problem in Natural Language Processing (NLP). Despite the existence of numerous studies dedicated to the development of NLP hate speech detection approaches, the accuracy is still poor. The central problem is that social media posts are short and noisy, and most existing hate speech detection solutions take each post as an isolated input instance, which is likely to yield high false positive and negative rates. In this paper, we radically improve automated hate speech detection by presenting a novel model that leverages intra-user and inter-user representation learning for robust hate speech detection on Twitter. In addition to the target Tweet, we collect and analyze the user's historical posts to model intra-user Tweet representations. To suppress the noise in a single Tweet, we also model the similar Tweets posted by all other users with reinforced inter-user representation learning techniques. Experimentally, we show that leveraging these two representations can significantly improve the f-score of a strong bidirectional LSTM baseline model by 10.1%.

연구 동기 및 목표

• 기존 혐오 발언 탐지 모델에서 높은 거짓 양성 및 거짓 음성 비율을 해결하기 위해, 각 트윗을 독립적으로 다루는 방식을 개선하고자 한다.
• 사용자 이력 트윗 시퀀스를 통해 사용자별 언어 패턴을 모델링함으로써 탐지 성능의 내구성을 높이고자 한다(사용자 내부 표현 학습).
• 다른 사용자로부터 의미적으로 유사한 트윗을 통합함으로써 개별 트윗의 노이즈를 줄이고자 한다(사용자 간 표현 학습). 이는 강화 학습 에이전트를 통해 수행된다.
• 목표 트윗 표현, 사용자 내부 표현, 사용자 간 표현을 통합된 딥러닝 프레임워크에 통합하여 분류 성능을 향상시키고자 한다.
• 사용자 이력 데이터 및 대규모 레이블이 없는 트윗 코퍼스를 활용해 수동 레이블링 없이도 혐오 발언 탐지 성능을 크게 향상시킬 수 있음을 입증하고자 한다.

제안 방법

• 모델은 목표 트윗을 표현으로 인코딩하기 위해 양방향 LSTM(Bi-LSTM)을 기준 모델로 사용한다.
• 사용자 내부 표현은 동일한 Bi-LSTM 아키텍처를 사용해 최대 400개의 목표 사용자 이력 트윗을 인코딩한 후 가중치 합을 통해 집계한다.
• 사용자 간 표현은 의미적으로 유사한 트윗을 국소성 기반 해싱(Locality-Sensitive Hashing, LSH)을 통해 추출한 후 별도의 Bi-LSTM로 처리한다.
• 정책 기반 강화 학습 에이전트는 후보 집합에서 하나의 사용자 간 트윗을 단계적으로 선택하며, 시간이 지남에 따라 표현 품질을 향상시킨다.
• 최종 예측은 목표 트윗 표현, 사용자 내부 표현, 강화된 사용자 간 표현을 공유 분류기 헤드를 통해 통합하여 수행된다.
• 모델는 대규모 트위터 코퍼스에서 사전 훈련된 워드 임베딩를 사용해 엔드 투 엔드로 훈련되며, Adam 옵timizer를 적용한다.

실험 결과

연구 질문

• RQ1 각 트윗을 독립적으로 다루는 것과 비교해, 사용자 이력 트윗 시퀀스를 모델링함으로써 혐오 발언 탐지 성능을 향상시킬 수 있는가?
• RQ2 다른 사용자로부터 의미적으로 유사한 트윗을 통합하면, 노이즈가 많거나 모호한 개별 트윗에 대한 탐지 성능이 향상되는가?
• RQ3 동적으로 사용자 간 트윗을 선택하는 강화 학습 에이전트가 무작위 선택이나 고정된 집계 방식보다 탐지 정확도 향상에 뛰어나게 작용하는가?
• RQ4 사용자 내부 표현과 사용자 간 표현을 통합함으로써 혐오 발언 탐지에서 거짓 양성 및 거짓 음성 비율을 얼마나 줄일 수 있는가?
• RQ5 이 프레임워크는 사용자 이력 또는 대규모 레이블이 없는 텍스트 데이터가 존재하는 다른 텍스트 분류 과제로 일반화될 수 있는가?

주요 결과

• 제안된 모델은 사용자 내부 표현과 강화된 사용자 간 표현을 통합함으로써 강력한 양방향 LSTM 기반 모델의 F-스코어를 10.1% 향상시켰다.
• 사용자 내부 표현만을 통합함으로써 사용자별 언어 패턴과 맥락을 포착해 거짓 양성 비율이 감소했다.
• 강화 학습 기반 에이전트를 통한 사용자 간 트윗 선택은 무작위 선택 대비 약간이지만 통계적으로 유의미한 향상(유의수준 p < 0.01)을 보였다.
• 정밀도, 재현율, F1-스코어 측면에서 SVM, 로지스틱 회귀, CNN, 어텐션 기반 양방향 LSTM 등 여러 강력한 베이스라인을 뛰어넘는 성능을 보였다.
• 오류 분석 결과, 희귀 약어 및 비유적/풍자적 언어는 여전히 도전 과제로 남아 있었으며, 특히 목표 트윗과 사용자 간 표현이 모두 신뢰할 수 없을 경우 더욱 심각한 문제가 발생했다.
• 이 프레임워크는 일반화 가능하며, 사용자 이력 또는 대규모 레이블이 없는 텍스트 데이터를 포함하는 다른 NLP 과제로 확장 가능하다.