[논문 리뷰] Opinion Conflicts: An Effective Route to Detect Incivility in Twitter

Suman Kalyan Maity, Aishik Chakraborty외 2명|arXiv (Cornell University)|2018. 09. 02.

Hate Speech and Cyberbullying Detection참고 문헌 92인용 수 16

한 줄 요약

이 논문은 사용자와 명시된 실체 간의 의견 갈등을 활용하여 트위터에서 무례함을 탐지하는 딥러닝 모델을 제안한다. 문자 수준의 CNN에 실체별 감성 특징을 통합하여 93.3%의 정확도를 달성하였으며, 최고의 베이스라인 대비 4.9% 높은 성능을 보였다.

ABSTRACT

In Twitter, there is a rising trend in abusive behavior which often leads to incivility. This trend is affecting users mentally and as a result they tend to leave Twitter and other such social networking sites thus depleting the active user base. In this paper, we study factors associated with incivility. We observe that the act of incivility is highly correlated with the opinion differences between the account holder (i.e., the user writing the incivil tweet) and the target (i.e., the user for whom the incivil tweet is meant for or targeted), toward a named entity. We introduce a character level CNN model and incorporate the entity-specific sentiment information for efficient incivility detection which significantly outperforms multiple baseline methods achieving an impressive accuracy of 93.3% (4.9% improvement over the best baseline). In a post-hoc analysis, we also study the behavioral aspects of the targets and account holders and try to understand the reasons behind the incivility incidents. Interestingly, we observe that there are strong signals of repetitions in incivil behavior. In particular, we find that there are a significant fraction of account holders who act as repeat offenders - attacking the targets even more than 10 times. Similarly, there are also targets who get targeted multiple times. In general, the targets are found to have higher reputation scores than the account holders.

연구 동기 및 목표

• 사용자와 명시된 실체 간의 의견 갈등이 트위터에서의 무례함을 유발하는 데 어떤 역할을 하는지 조사하기 위해.
• 기존의 베이스라인을 능가하는 자동화되고 확장 가능한 무례함 탐지 방법을 개발하기 위해.
• 무례함의 가해자와 피해자에 대한 행동 패턴(반복성 및 명성 역학 포함)을 분석하기 위해.
• 온라인 독성 감소와 커뮤니티 건강 향상을 위해 플랫폼 설계 및 정책에 실질적인 통찰을 제공하기 위해.

제안 방법

• 저자들은 트윗 내 미세한 언어 패턴을 포착하기 위해 문자 수준의 합성곱 신경망(CNN) 모델을 제안한다.
• 사용자(계정 소유자)와 대상 실체 사이의 의견 갈등을 강조하기 위해 실체별 감성 정보를 모델에 통합한다.
• 모델은 단어 임베딩과 문자 수준의 LSTMs를 사용하여 트윗 내용을 인코딩하여 폭력적 언어와 정서적 어조에 대한 민감도를 향상시킨다.
• 대상 사용자의 이전 트윗에서 추출한 실체별 감성 점수를 사용하여 의견 갈등을 정량화한다.
• 손실은 교차 엔트로피를 통해 최적화되며, 레이블이 부여된 무례함 트윗 데이터셋을 기반으로 엔드 투 엔드로 모델을 훈련시킨다.
• 사용자 상호작용 패턴(반복 빈도 및 명성 점수, 예: 팔로워 수, 참여도)에 대한 사후 분석을 수행한다.

실험 결과

연구 질문

• RQ1 사용자와 명시된 실체 간의 의견 갈등이 트윗에서의 무례함을 얼마나 잘 예측하는가?
• RQ2 실체별 감성 정보를 통합함으로써 무례함 탐지 성능이 기존의 베이스라인 모델 대비 얼마나 향상되는가?
• RQ3 반복성 또는 명성과 같은 행동 패턴은 무례함의 가해자와 피해자를 어떻게 특징짓는가?
• RQ4 의견 갈등을 조기에 탐지하면 무례함이나 사이버 불링으로의 악화를 방지하는 데 도움이 될 수 있는가?

주요 결과

• 제안된 모델은 93.3%의 정확도와 F1 점수 0.82를 기록하였으며, 최고의 베이스라인 대비 정확도에서 4.9% 향상되고 F1 점수에서 6.5% 향상되었다.
• 상당한 비율의 계정 소유자(반복 공격자)가 10번 이상 같은 개인을 대상으로 삼고 있어 지속적인 무례함 행동을 보이고 있음을 시사한다.
• 무례함의 피해자들은 계정 소유자들보다 명성 점수(예: 더 많은 팔로워, 높은 참여도)가 뚜렷이 높은 편이며, 일반적인 사이버 불링 역학과 대조된다.
• 계정 소유자의 트윗에는 '맹세하다', '성', '종교', '죽음' 등의 부정적 감성 어휘 빈도가 높아 정서적 강도를 나타낸다.
• 피해자의 트윗은 긍정적인 정서가 풍부하여 가해자와 피해자 간의 정서적 어조에 뚜렷한 대비가 있음을 시사한다.
• 반복적인 대상 지정의 증거가 뚜렷하며, 일부 개인은 여러 차례 공격을 받고 있어 조기 개입 시스템의 필요성을 강조한다.