[논문 리뷰] Collective moderation of hate, toxicity, and extremity in online discussions

Jana Lasser, Alina Herderich외 4명|arXiv (Cornell University)|2023. 03. 01.

Hate Speech and Cyberbullying Detection인용 수 4

한 줄 요약

이 연구는 2015년 이민자 위기 기간 및 이후 4년간의 130,000건의 독일어 트위터 논의 데이터셋을 활용하여 온라인 논의에서 혐오, 독성 및 극단주의를 줄이기 위한 집단적 조정 전략을 조사한다. 연구 결과, 사실적이지 않지만 욕설이 없는 단순한 의견 표현이 마이크로, 메조, 매크로 수준에서 후속 혐오와 독성을 가장 효과적으로 감소시키며, 전통적인 반어적 언어 전략보다 뛰어난 성과를 보이며 낮은 장벽의 시민 참여 조치를 제공한다.

ABSTRACT

In the digital age, hate speech poses a threat to the functioning of social media platforms as spaces for public discourse. Top-down approaches to moderate hate speech encounter difficulties due to conflicts with freedom of expression and issues of scalability. Counter speech, a form of collective moderation by citizens, has emerged as a potential remedy. Here, we aim to investigate which counter speech strategies are most effective in reducing the prevalence of hate, toxicity, and extremity on online platforms. We analyze more than 130,000 discussions on German Twitter starting at the peak of the migrant crisis in 2015 and extending over four years. We use human annotation and machine learning classifiers to identify argumentation strategies, ingroup and outgroup references, emotional tone, and different measures of discourse quality. Using matching and time-series analyses we discern the effectiveness of naturally observed counter speech strategies on the micro-level (individual tweet pairs), meso-level (entire discussions) and macro-level (over days). We find that expressing straightforward opinions, even if not factual but devoid of insults, results in the least subsequent hate, toxicity, and extremity over all levels of analyses. This strategy complements currently recommended counter speech strategies and is easy for citizens to engage in. Sarcasm can also be effective in improving discourse quality, especially in the presence of organized extreme groups. Going beyond one-shot analyses on smaller samples prevalent in most prior studies, our findings have implications for the successful management of public online spaces through collective civic moderation.

연구 동기 및 목표

• 온라인 정치적 논의에서 혐오, 독성 및 극단주의를 줄이는 데 가장 효과적인 반어적 언어 전략을 규명하는 것.
• 시민 주도의 조정이 대규모 소셜 미디어 논의에 미치는 장기적이고 실제 세계적인 영향을 분석하는 것.
• 조직화된 극단주의 단체(예: Reconquista Germanica 및 Reconquista Internet)가 다양한 논의 전략의 효과성에 미치는 영향을 평가하는 것.
• 플랫폼의 상위 수준 조정에 의존하지 않고도 시민과 공동체가 집단적 시민 조정에 참여할 수 있도록 증거 기반 지침을 제공하는 것.
• 소규모 단발성 실험을 넘어서 실제 세계 데이터를 사용해 4년에 걸친 논의 역학을 분석함으로써 장기적 논의 동적 변화를 탐구하는 것.

제안 방법

• 2015~2018년 동안 4년간의 논의 트리를 형성하기 위해 독일 뉴스 매체, 기자, 정치인들로부터 1,150,469건의 트윗을 포함한 코퍼스를 구축하였다.
• 인간 주석과 기계 학습 분류기들을 활용하여 논증 전략, 외집단/내집단 언급, 정서적 어조, 논의 품질 지표를 식별하였다.
• 매칭 및 시계열 분석(ARLD 모델링 포함)을 적용하여 마이크로(트윗 쌍), 메조(전체 논의), 매크로(일일 추세) 수준에서 논의 차원이 혐오, 독성 및 극단주의에 미치는 인과적 영향을 평가하였다.
• 조직화된 극단주의 존재 지표(RG 및 RI)를 통합하여 반어적 언어 전략의 효과성에 대한 상호작용 효과를 테스트하였다.
• 통계 모델을 사용하여 논의 전략의 영향을 특정 변수(예: 발언자 극단주의 수준, 주제 등)의 혼란 변수를 통제하면서 고립하였다.
• 모든 추론된 데이터와 코드를 재현 가능성을 위해 물질 이관 계약 하에 공개하였으며, 데이터는 OSF를 통해, 코드는 GitHub에서 이용 가능하다.

실험 결과

연구 질문

• RQ1 온라인 정치적 논의에서 후속 혐오, 독성 및 극단주의를 가장 효과적으로 줄이는 반어적 언어 전략은 무엇인가?
• RQ2 다양한 논의 전략의 효과는 마이크로 수준 상호작용, 메조 수준 논의 구조, 매크로 수준 일일 추세에서 어떻게 다를까?
• RQ3 조직화된 극단주의 단체(예: Reconquista Germanica 및 Reconquista Internet)의 존재가 반어적 언어 전략의 효과성에 어떻게 영향을 미치는가?
• RQ4 사실 정확성과는 무관하게 욕설이 없는 단순한 의견 표현이 전통적인 이성적 또는 공감 기반의 반어적 언어 접근 방식보다 더 효과적인가?
• RQ5 비판적 협동 작전을 펼치는 조직화된 극단주의 행위자 존재 시, 비꼬는 어조가 논의 품질 향상에 효과적인 도구가 될 수 있는가?

주요 결과

• 사실적이지 않지만 욕설이 없는 단순한 의견 표현은 마이크로, 메조, 매크로 수준에서 모두 후속 혐오, 독성 및 극단주의 수준을 가장 낮춘다.
• 이 전략은 이성, 공감 또는 도덕 원칙에 호소하는 전통적으로 권장되는 접근 방식보다 논의 독성 감소에 뛰어나게 효과적이다.
• 비꼬는 어조는 논의 품질 향상에 효과적이며, 특히 조직화된 극단주의 단체가 활동할 경우 더욱 두드러진 효과를 보였다. 이는 조작된 가짜 정보에 대응하는 데 잠재적인 역할을 할 수 있음을 시사한다.
• Reconquista Germanica(RG) 및 Reconquista Internet(RI)와 같은 조직화된 극단주의 단체의 존재는 반어적 언어 전략의 효과성에 중대한 영향을 미치며, 이는 논의 차원에 따라 효과가 다를 수 있음을 보여준다.
• 본 연구의 결과는 다양한 분석 수준과 시간 프레임에서 강건하며, 시민 조정 전략의 장기적이고 실제 세계적인 영향을 입증한다.
• 결과는 플랫폼의 공식 조정이나 높은 인지적 부담 없이도 시민과 공동체가 집단적 조정에 참여할 수 있도록 실질적이고 증거 기반의 지침을 제공한다.