[논문 리뷰] Characterizing Twitter Users Who Engage in Adversarial Interactions against Political Candidates

Yiqing Hua, Mor Naaman외 1명|arXiv (Cornell University)|2020. 05. 09.

Hate Speech and Cyberbullying Detection참고 문헌 50인용 수 14

한 줄 요약

이 연구는 2018년 중간 선거 기간 동안 미국 하원의원을 대상으로 한 트위터의 적대적 상호작용을 분석하기 위해 40만 명의 사용자로부터 수집한 120만 건의 댓글 데이터셋을 바탕으로 혼합 방법론을 사용하였다. 연구 결과, 매우 적대적인 사용자들은 정치적 토론 네트워크에서 중심성이 낮고, 대립 정당의 후보자들 향해 더 많은 관심을 기울이며, 프로필에서 부정적인 성향을 보이며, 자동화된 도구에 의해 제대로 식별되지 않아 플랫폼의 타겟팅된 개입이 필요하다는 점을 밝혀냈다.

ABSTRACT

Social media provides a critical communication platform for political figures, but also makes them easy targets for harassment. In this paper, we characterize users who adversarially interact with political figures on Twitter using mixed-method techniques. The analysis is based on a dataset of 400~thousand users' 1.2~million replies to 756 candidates for the U.S. House of Representatives in the two months leading up to the 2018 midterm elections. We show that among moderately active users, adversarial activity is associated with decreased centrality in the social graph and increased attention to candidates from the opposing party. When compared to users who are similarly active, highly adversarial users tend to engage in fewer supportive interactions with their own party's candidates and express negativity in their user profiles. Our results can inform the design of platform moderation mechanisms to support political figures countering online harassment.

연구 동기 및 목표

• 트위터에서 정치 후보자들과 상호작용하는 데 적대적인 행동을 보이는 사용자의 행동적 특성과 네트워크 특성을 이해하는 것.
• 적대적 행동과 관련된 사용자 프로필 및 상호작용 네트워크의 패턴을 특정하는 것.
• Perspective API와 같은 자동화된 독성 감지 도구가 매우 적대적인 사용자를 식별하는 데 얼마나 효과적인지 평가하는 것.
• 정치적 인물들이 온라인 괴롭힘으로부터 보호받을 수 있도록 플랫폼의 모더레이션 메커니즘을 설계하는 데 기여하는 것.
• 미국 정치 담론에서의 적대적 행동을 맥락에 맞게 특성화하는 것.

제안 방법

• 2018년 중간 선거 두 달 전, 756명의 미국 하원의원 트윗에 대한 120만 건의 댓글을 40만 명의 고유 사용자로부터 수집.
• Perspective API를 사용하여 독성 점수 기반으로 댓글을 적대적이라고 자동 분류.
• 매우 적대적인 사용자(10건 이상의 적대적 댓글을 게시한 자)를 대상으로 질적 코딩을 수행하여 콘텐츠 및 프로필 특성 분석.
• 후보자들과 상호작용하는 사용자 간의 사회적 그래프를 구축하여 중심성과 정당 기반 참여도 측정.
• 사용자 활동 수준에 따라 적대적 상호작용과 지지적 상호작용 간의 차이를 중심으로 분석.
• 정확도 평가 및 저평가 여부를 확인하기 위해 자동 감지 결과를 인간 레이블링 결과와 대조함.

Figure 1 : (a) CDF of $\tau$ -adversarial tweets contributed by users. (b) Breakdown of replies by users with different overall activity (top row), with the fraction of adversarial tweets made by each user group, for various $\tau$ (following rows). The legend specifies user overall activity level f

실험 결과

연구 질문

• RQ1 매우 적대적인 댓글 중 얼마나 많은 비율이 소수의 매우 활동적인 사용자들에 의해 생성되었는가?
• RQ2 사용자의 정치적 토론 네트워크 내 중심성이 그들의 적대적 참여 수준과 어떻게 관련되어 있는가?
• RQ3 매우 적대적인 사용자들은 자신의 정당 후보자와 대립 정당 후보자에게 어떻게 다른 상호작용 패턴을 보이는가?
• RQ4 어떤 프로필 특성이 적대적 행동, 특히 정치적 대립자에 대한 부정적 성향과 관련이 있는가?
• RQ5 Perspective API는 매우 적대적인 사용자를 얼마나 정확하게 식별할 수 있으며, 그 한계는 무엇인가?

주요 결과

• 35% 이상의 적대적 댓글이 단지 10%의 사용자들에 의해 생성되었으며, 이는 적대적 활동의 극도로 비대칭적인 분포를 보임을 시사한다.
• 매우 적대적인 사용자들은 후보자들과 상호작용하는 사용자들의 사회적 그래프에서 중심성이 낮아 정치적 담론 네트워크에 통합되지 않은 것으로 나타났다.
• 이러한 사용자들은 유사하게 활동적인 사용자들보다 대립 정당 후보자들에게 훨씬 더 많은 댓글을 보내고, 자신의 정당 후보자들에게는 더 적은 댓글을 보내는 경향을 보였다.
• 매우 적대적인 사용자들은 개인적 공격이나 관련 없는 주제의 댓글을 더 자주 게시하여, 타겟팅된 비합리적 적대감의 패턴을 보였다.
• 사용자들의 프로필은 정치적 성향과 적대적 언어를 더 자주 포함하고 있었으며, 이는 트위터에서의 부정적 행동을 예고하는 바였다.
• Perspective API는 적대적 활동을 과소평가했으며, 특히 매우 적대적인 사용자들에 대해서는 특히 그러했다. 또한, 이러한 사용자들 중 15%만이 트위터에 의해 금지된 것으로 나타나 플랫폼의 집행에 격차가 있음을 시사한다.

Figure 2 : Users with higher adversarial follower ratio are generally more likely to have been suspended.