[논문 리뷰] Auditing Elon Musk's Impact on Hate Speech and Bots

Daniel Hickey, Matheus Schmitz외 4명|arXiv (Cornell University)|2023. 04. 09.

Hate Speech and Cyberbullying Detection참고 문헌 18인용 수 8

한 줄 요약

본 연구는 Elon Musk의 2022년 인수 전후의 Twitter를 분석하여 혐오 발언과 봇 활동이 증가했으며, 대조군에서 애스트로터프 봇이 감소한 것으로 나타났다.

ABSTRACT

On October 27th, 2022, Elon Musk purchased Twitter, becoming its new CEO and firing many top executives in the process. Musk listed fewer restrictions on content moderation and removal of spam bots among his goals for the platform. Given findings of prior research on moderation and hate speech in online communities, the promise of less strict content moderation poses the concern that hate will rise on Twitter. We examine the levels of hate speech and prevalence of bots before and after Musk's acquisition of the platform. We find that hate speech rose dramatically upon Musk purchasing Twitter and the prevalence of most types of bots increased, while the prevalence of astroturf bots decreased.

연구 동기 및 목표

• Musk 인수 이후 Twitter에서 혐오 발언이 증가했는지 평가한다.
• 인수 이후 Twitter에서 봇의 만연 정도가 변화했는지 평가한다.
• 혐오 발언과 봇 변화의 강건성을 방법적 임계값 across에 걸쳐 추정한다.
• 플랫폼 moderation 및 정책에 대한 시사점을 논의한다.

제안 방법

• Reddit 기반 혐오 어휘집에서 혐오 발언 키워드를 식별하고 이를 Twitter 데이터에서 검증한다.
• 혐오 키워드를 포함하는 트윗을 추출하고 Google의 Perspective API를 사용해 독성(Toxic) 여부를 필터링한다.
• baseline 트윗 스트림을 샘플링해 전반적 활동 수준을 비교한다.
• 혐오 트윗을 게시하는 계정의 Botometer 점수를 계산해 봇 가능성을 평가한다.
• 인수 전후의 봇 점수 분포를 Mann-Whitney U 검정으로 비교한다.
• 관찰된 변화가 인과 관계를 입증하지 않으며, 인력 감소나 봇 차단 정책 변화 등 요인에 의해 영향을 받을 수 있음을 인정한다.

Figure 1: Hateful users increased their hate speech after Musk bought Twitter. Proportion of hate words in hateful users’ tweets over time before and after the purchase. The inset plot represents the average daily hate speech before and after the takeover. Black lines in inset plot represent standar

실험 결과

연구 질문

• RQ1 Musk의 인수 이후 Twitter에서 혐오 발언의 유행이 증가했는가?
• RQ2 인수 이후 Twitter의 봇의 만연 정도나 특성에 변화가 있었는가?
• RQ3 관찰된 변화가 독성 및 명시 콘텐츠 임계값의 다른 설정에 대해 강건한가?
• RQ4 이러한 변화가 Twitter의 moderation 및 사용자 안전에 어떤 시사점을 갖는가?

주요 결과

• Musk의 매입 이후 혐오 발언을 하는 사용자의 비율이 증가했고, 일일 평균 혐오 발언 비율은 증가했으며 매입 후 수준이 매입 전 최대치를 상회했다.
• 2022년 혐오 트윗의 총량은 안정적인 기준선 대비 급격히 증가했고, 초기 급등 이후에도 높게 유지되었다.
• 혐오 트윗을 게시하는 계정의 Botometer 점수는 여러 범주(스팸, 가짜 팔로워)에서 증가한 반면, 대조 군의 애스트로터프 점수는 감소했다.
• 관찰된 변화가 인과적으로 확정되었다고 입증되지는 않으며, 인력 축소 및 비봇 정책 변화와 같은 요인에 의해 영향을 받았을 수 있지만 완화된moderation에 대한 우려와 일치한다.

Figure 2: Overall hate speech on Twitter increased after Elon Musk bought the platform. Number of hateful tweets sampled during each week in 2022, compared to a baseline of tweets collected during the same time period. The spike in March, 2022 coincides with the Canada convoy protests.