[논문 리뷰] User Engagement and the Toxicity of Tweets

Nazanin Salehabadi, Anne Groggel외 3명|arXiv (Cornell University)|2022. 11. 07.

Hate Speech and Cyberbullying Detection인용 수 9

한 줄 요약

이 연구는 구글의 퍼스펙티브 API를 사용하여 85,300개의 트위터 대화를 분석하여 독성이 있는 대화는 더 길고, 더 많은 사용자 참여를 보이며, 특히 초기에 독성이 있는 트윗 뒤에 독성이 있는 답변이 오는 경우에 더욱 그렇다는 것을 발견했다. 독성이 있는 답변의 순서가 대화의 분위기에 큰 영향을 미치며, 독성이 있는 첫 번째 답변은 전체적인 독성을 증폭시키는 경향이 있어, 비독성 답변이 온라인 무례함을 완화하는 데 기여할 수 있음을 시사한다.

ABSTRACT

Twitter is one of the most popular online micro-blogging and social networking platforms. This platform allows individuals to freely express opinions and interact with others regardless of geographic barriers. However, with the good that online platforms offer, also comes the bad. Twitter and other social networking platforms have created new spaces for incivility. With the growing interest on the consequences of uncivil behavior online, understanding how a toxic comment impacts online interactions is imperative. We analyze a random sample of more than 85,300 Twitter conversations to examine differences between toxic and non-toxic conversations and the relationship between toxicity and user engagement. We find that toxic conversations, those with at least one toxic tweet, are longer but have fewer individual users contributing to the dialogue compared to the non-toxic conversations. However, within toxic conversations, toxicity is positively associated with more individual Twitter users participating in conversations. This suggests that overall, more visible conversations are more likely to include toxic replies. Additionally, we examine the sequencing of toxic tweets and its impact on conversations. Toxic tweets often occur as the main tweet or as the first reply, and lead to greater overall conversation toxicity. We also find a relationship between the toxicity of the first reply to a toxic tweet and the toxicity of the conversation, such that whether the first reply is toxic or non-toxic sets the stage for the overall toxicity of the conversation, following the idea that hate can beget hate.

연구 동기 및 목표

• 독성이 있는 트위터 대화와 비독성 대화 간의 사용자 참여도 차이를 분석하는 것.
• 독성이 있는 트윗의 순서가 대화의 역학과 사용자 참여에 어떤 영향을 미치는지 조사하는 것.
• 독성이 있는 트윗에 대한 첫 번째 답변의 성격이 대화의 전체적인 독성에 영향을 미치는지 평가하는 것.
• 독성이 있는 대화에 참여하는 데 관련된 계정 수준의 특성들을 특정하는 것.
• 소셜 미디어 상호작용에서 발생하는 행동적 촉매 요인을 이해함으로써 온라인 독성을 완화하는 도구 설계를 지원하는 것.

제안 방법

• 구글의 퍼스펙티브 API를 사용하여 주 트윗과 직접 답변에 대해 이진 독성 레이블(독성 대비 비독성)을 할당하였다.
• 최소한 하나의 트윗(주 트윗 또는 답변)이 임계값을 초과하는 독성 점수를 가질 경우, 대화를 독성이 있는 것으로 분류하였다.
• 각 대화의 총 독성이 있는 트윗 수를 총 트윗 수로 나누어 연속적인 독성 점수를 구성하였다.
• 사용자 계정 특성에 대한 제어를 고려하여 첫 번째 답변의 독성이 사용자 참여에 미치는 영향을 분석하기 위해 회귀 모델을 적용하였다.
• 첫 번째 독성이 있는 트윗과 첫 번째 답변의 색인(순서)을 추적하여 대화 참여도에 미치는 시기적 영향을 평가하였다.
• 시의적절하고 즉각적인 대화 역학을 확보하기 위해 분석을 48시간 이내의 직접 답변으로 제한하였다.

실험 결과

연구 질문

• RQ1 트위터에서 독성이 있는 대화와 비독성 대화의 길이와 사용자 참여도는 어떻게 비교되는가?
• RQ2 독성이 있는 트윗에 대한 첫 번째 답변의 독성이 대화의 전체 독성과 어떤 관계가 있는가?
• RQ3 독성이 있는 트윗의 시기와 순서는 사용자 참여도와 대화의 분위기에 어떤 영향을 미치는가?
• RQ4 독성이 있는 대화에 참여하는 데 관련된 사용자 계정의 특성은 무엇인가?
• RQ5 비독성이 있는 답변은 온라인 독성의 악화를 막는 데 효과적인 대응 조치가 될 수 있는가?

주요 결과

• 독성이 있는 대화는 비독성 대화보다 유의미하게 길며, 평균 12.3개의 답변을 기록한 반면 비독성 대화는 평균 8.7개의 답변을 기록한다.
• 독성이 있는 대화 내에서, 높은 독성 수준은 더 높은 사용자 참여도와 정적 상관관계를 보이며, 이는 독성이 높은 스레드에 더 많은 사용자가 참여한다는 것을 시사한다.
• 독성이 있는 트윗에 대한 첫 번째 직접 답변에서 독성이 높을수록 예측된 사용자 참여도가 0.82 감소한다(p < 0.001), 이는 독성이 있는 답변이 참여도를 감소시킨다는 것을 의미한다.
• 독성이 있는 트윗에 대한 첫 번째 답변이 비독성인 대화에서는 더 높은 사용자 참여도를 보이며, 이는 비독성 답변이 독성을 안정화하거나 감소시킬 수 있음을 시사한다.
• 프로필 이미지, URL 또는 인증 상태가 있는 트위터 계정은 독성이 있는 콘텐츠를 게재할 가능성이 유의미하게 낮아, 신원 노출이 독성을 감소시킨다는 것을 시사한다.
• 독성이 있는 트윗는 주로 주 트윗 또는 첫 번째 답변으로 나타나며, 이들의 조기 배치는 전체 대화의 독성을 증가시키는 전조를 마련한다.