[논문 리뷰] Impact of Sentiment Detection to Recognize Toxic and Subversive Online Comments

Éloi Brassard-Gourdeau, Richard Khoury|arXiv (Cornell University)|2018. 12. 04.

Hate Speech and Cyberbullying Detection참고 문헌 9인용 수 9

한 줄 요약

이 논문은 키워드 기반 필터를 우회하기 위해 유해어를 수정하는 악성 사용자들을 대비해 감성 검출을 유해성 검출 시스템에 통합할 것을 제안한다. 실제 데이터셋으로 훈련된 신경망을 사용하여, 감성 정보를 포함시킬 경우 유해성 검출 정확도가 최대 3% 향상됨을 입증함으로써, 키워드보다 감성이 더 잘 위장하기 어렵다는 점을 확인한다.

ABSTRACT

The presence of toxic content has become a major problem for many online communities. Moderators try to limit this problem by implementing more and more refined comment filters, but toxic users are constantly finding new ways to circumvent them. Our hypothesis is that while modifying toxic content and keywords to fool filters can be easy, hiding sentiment is harder. In this paper, we explore various aspects of sentiment detection and their correlation to toxicity, and use our results to implement a toxicity detection tool. We then test how adding the sentiment information helps detect toxicity in three different real-world datasets, and incorporate subversion to these datasets to simulate a user trying to circumvent the system. Our results show sentiment information has a positive impact on toxicity detection against a subversive user.

연구 동기 및 목표

• 온라인 댓글에서 감성과 유해성 간의 상관관계를 조사한다.
• 감성 사전 및 언어적 특징을 사용하여 유해성 검출 시스템에 통합 가능한 감성 검출 도구를 개발한다.
• 특히 유해성에 대한 위협을 받는 상황에서 감성 정보가 유해성 검출 성능을 향상시키는지 평가한다.
• 유해어를 동음이의어나 철자 오류로 대체하여 악성 사용자 행동을 시뮬레이션하여 시스템의 내구성을 테스트한다.
• 다양한 실제 데이터셋(Kaggle, 위키백과, Reddit)에서 감성이 유해성 검출에 미치는 영향을 평가한다.

제안 방법

• 감성 사전(SentiS, VADER, SentiStrength)과 단어 빈도, 否정문 처리 등의 언어적 특징을 사용하여 감성 검출 시스템을 구축하였다.
• 텍스트 임베딩과 감성 점수를 입력 특징으로 사용하여 딥 신경망을 훈련하여 유해성 검출을 수행하였다.
• 191개의 일반적인 유해어를 동음이의어나 철자 오류로 대체하는 치환 목록을 적용하여 악성 사용자 행동을 시뮬레이션하였다 (예: 'kill' → 'kilt').
• 세 가지 데이터셋(Kaggle, 위키백과, Reddit)에서 실험을 수행하였으며, 훈련에 70%, 검증에 20%, 테스트에 10%의 데이터를 사용하였고, 각 데이터셋에 대해 세 번의 랜덤 실행을 실시하였다.
• 정상 조건과 악성 조건에서 감성 입력 여부에 따라 검출 정확도를 비교하였다.
• 각 코퍼스에서 유해 메시지 수와 일치하도록 비유해 메시지를 언더샘플링하여 균형 잡힌 데이터셋을 구성하였다.

실험 결과

연구 질문

• RQ1 온라인 댓글에서 감성과 유해성 간에 유의미한 상관관계가 존재하는가?
• RQ2 감성 정보는 표준 및 악성 조건에서 유해성 검출 정확도를 향상시킬 수 있는가?
• RQ3 악성 사용자가 키워드를 수정하여 키워드 기반 필터를 우회할 경우 감성 기반 검출은 얼마나 효과적인가?
• RQ4 다양한 데이터셋에서 감성-유해성 상관관계가 다르게 나타날 경우 감성 정보의 성능 향상 정도는 어떻게 달라지는가?
• RQ5 키워드 기반 시스템이 악성 행동으로 인해 실패할 경우 감성 검출이 유해성 탐지에 도움이 되는가?

주요 결과

• 부정적 감성과 유해성 간에 명확한 상관관계가 존재하며, 감성 점수는 모든 세 데이터셋에서 유해성 레이블과 강한 일치를 보였다.
• 정상 조건(유해성 없음)에서는 감성 포함으로 평균 0.5%의 정확도 향상이 있었으며, 감성-유해성 상관관계가 약한 레딧에서는 최소한의 향상(0.1%)을 보였다.
• 유해성에 대한 위협 조건에서 65~82%의 유해 메시지가 동음이의어로 대체되었으며, 감성 정보가 없는 모델의 정확도는 크게 하락했다 (예: 카글에서 93.2%에서 77.2%로 감소), 그러나 감성 정보가 포함된 경우 정확도가 향상되었다.
• 유해성에 대한 위협 조건에서 감성 정보 추가로 카글 데이터셋의 검출 정확도가 2.9% 향상되었으며 (77.2%에서 80.1%로), 위키백과(81.4%에서 82.0%)와 레딧(83.0%에서 83.9%)에서도 유사한 향상이 관찰되었다.
• 감성 정보의 성능 향상은 특히 유해성에 대한 위협 조건에서 가장 크게 나타났으며, 이는 감성이 어휘적 내용보다 더 위장하기 어렵다는 점을 확인한다.
• 감성 정보가 없더라도 모델은 높은 기준 정확도를 달성하였다 (예: 정상 카글에서 93.2%), 이는 딥 러닝 모델의 강력한 문자 수준 인코딩과 노이즈 내성 덕분일 것이다.