[논문 리뷰] New threats to society from free-speech social media platforms

Dominik Bär, Nicolas Pröllochs외 1명|arXiv (Cornell University)|2023. 02. 02.

Hate Speech and Cyberbullying Detection인용 수 6

한 줄 요약

이 논문은 자유의 억제 없는 발언을 내세로 삼는 소셜미디어 플랫폼(이른바 '알트테크')이 불통제된 증오 발언, 잘못된 정보, 폭력적 극단주의의 공모를 초래함으로써 사회적으로 심각한 위협을 안고 있다고 주장한다. 1월 6일 캄프러스 습격 사건과 같은 사례를 통해 이를 입증하며, 근거 기반 정책, 연구 접근성 향상, 내용 모더레이션 및 투명성에 대한 규제 프레임워크 수립을 촉구한다. 파를러, 갑, 테레그램 등의 사례 연구를 바탕으로 다학제적 연구와 기관 감시의 필요성을 주장한다.

ABSTRACT

In recent years, several free-speech social media platforms (so-called "alt-techs") have emerged, such as Parler, Gab, and Telegram. These platforms market themselves as alternatives to mainstream social media and proclaim "free-speech" due to the absence of content moderation, which has been attracting a large base of partisan users, extremists, and supporters of conspiracy theories. In this comment, we discuss some of the threats that emerge from such social media platforms and call for more policy efforts directed at understanding and countering the risks for society.

연구 동기 및 목표

• 내용 모더레이션 없이 운영되는 알트테크 플랫폼이 야기하는 사회적 위험을 분석한다.
• 알트테크 플랫폼이 실제 폭력 행위, 특히 1월 6일 캄프러스 습격 사건과 기타 대규모 총격 사건의 공모에 기여한 역할을 검토한다.
• 내용 모더레이션 및 투명성에 대한 규제 의무화와 연구 접근성 향상을 포함한 근거 기반 정책 개입을 주장한다. 이는 이러한 플랫폼에서 악성 콘텐츠의 확산을 억제하기 위함이다.
• 사용자 행동, 콘텐츠 동역학, 알트테크 생태계의 사회적 영향에 대한 다학제적 연구를 촉진한다.

제안 방법

• 1월 6일 캄프러스 습격 사건과 버펄로, 피츠버그 대규모 총격 사건을 포함한 문서화된 사례 연구를 바탕으로 알트테크 플랫폼에 대한 정성적이고 근거 기반 분석을 수행한다.
• 알트테크 플랫폼에서의 기존 콘텐츠 모더레이션 정책와 그 부재를 검토하며, 메인스트림 플랫폼과 독일의 넷츠디지(NetzDG) 및 중국의 사이버보안법과 같은 규제 프레임워크와 대비한다.
• 사용자, 콘텐츠, 사회의 세 가지 차원에 초점을 맞춘 연구 의제를 제안하여 알트테크 생태계를 체계적으로 연구한다.
• 자연어 처리(NLP) 및 다중 플랫폼 분석과 같은 계산적 방법을 통해 잘못된 정보, 증오 발언, 음모론의 확산을 탐지하고 추적할 것을 주장한다.
• 대규모 현장 실험을 통한 제3자 평가를 통해 콘텐츠 모더레이션 도구(예: 반응 발언, 사실 확인)의 효과를 평가할 것을 권고한다.
• 트위터의 투명성 센터와 메타의 광고 라이브러리와 같은 이니셔티브를 모델로 삼아 알트테크 플랫폼에도 투명성 및 데이터 접근성에 대한 정책 이행을 촉구한다.

실험 결과

연구 질문

• RQ1 알트테크 플랫폼의 사용자 특성은 무엇이며, 정치적 성향자, 극단주의자, 음모론자 등의 그룹 간에 어떻게 다를까?
• RQ2 알트테크에서 확산되는 콘텐츠 유형(특히 잘못된 정보, 증오 발언, 극단주의 콘텐츠)은 무엇이며, 그 확산을 이끄는 메커니즘은 무엇인가?
• RQ3 알트테크 플랫폼은 온라인 및 실제 폭력 행위에서 사회적 분열, 정치적 극단화, 급속한 극단화에 어느 정도 기여하는가?
• RQ4 내용 모더레이션 기법(예: 반응 발언, 잘못된 정보 경고)이 최소한의 감시를 받는 알트테크 플랫폼에서 얼마나 효과적인가?
• RQ5 자유의 발언을 유지하면서도 알트테크 플랫폼의 사회적 위험을 줄이기 위해 가장 효과적인 정책 및 규제 조치는 무엇인가?

주요 결과

• 파를러, 갑, 테레그램과 같은 알트테크 플랫폼은 1월 6일 캄프러스 습격 사건의 공모에 핵심적인 역할을 했으며, 폭도들은 파를러를 통해 경찰을 피하고 무기를 반입하는 전술을 공유했다.
• 2022년 버펄로 대규모 총격 사건의 총격범은 4chan의 콘텐츠에 영향을 받아 탄생했으며, 이는 알트테크 플랫폼이 인종적 동기를 가진 폭력의 기폭제가 될 수 있음을 보여준다.
• 갑은 2018년 피츠버그 시오니스트 회당 총격 사건 기간 동안 주요 소통 채널로 사용되었으며, 이는 알트테크 플랫폼이 증오 기반 테러를 촉진하는 데 기여한다는 점을 입증한다.
• 알트테크 플랫폼에서의 콘텐츠 모더레이션 부재는 QAnon과 같은 음모론의 무제한 확산과 브라이어티닷컴(Breitbart.com)과 같은 잘못된 정보 사이트로의 연결을 가능하게 한다.
• 알트테크 플랫폼의 동질적인 사용자 기반은 대립 의견에의 노출을 감소시켜 에코 챔버 효과와 극단화를 가속화한다.
• 공적 압력 및 규제 압력(예: 파를러가 애플과 구글 앱 스토어에서 제거된 사례)은 알트테크 운영에 심각한 영향을 미칠 수 있으며, 이는 외부 강제 조치의 효과성을 보여준다.