[논문 리뷰] Exploring Content Moderation in the Decentralised Web: The Pleroma Case

Anaobi Ishaku Hassan, Aravindh Raman외 5명|arXiv (Cornell University)|2021. 10. 26.

Internet Traffic Analysis and Secure E-voting인용 수 5

한 줄 요약

이 연구는 탈중앙화된 웹 플랫폼인 Pleroma의 콘텐츠 모더레이션 정책을 분석하여, 인스턴스 수준의 피더레이션 정책으로 인해 전체 사용자 97.7%와 게시물 97.8%가 영향을 받는 것으로 밝혀졌으며, 이 중 95.8%의 차단된 사용자는 유해하지 않다고 분류됨—이는 심각한 부작용을 동반함을 시사함. 본 논문은 의도하지 않은 피해를 줄이면서도 모더레이션 효과성을 유지할 수 있도록 사용자 또는 인스턴스 수준의 정밀 조정 정책을 제안함.

ABSTRACT

Decentralising the Web is a desirable but challenging goal. One particular challenge is achieving decentralised content moderation in the face of various adversaries (e.g. trolls). To overcome this challenge, many Decentralised Web (DW) implementations rely on federation policies. Administrators use these policies to create rules that ban or modify content that matches specific rules. This, however, can have unintended consequences for many users. In this paper, we present the first study of federation policies on the DW, their in-the-wild usage, and their impact on users. We identify how these policies may negatively impact "innocent" users and outline possible solutions to avoid this problem in the future.

연구 동기 및 목표

• 탈중앙화된 웹에서 피더레이션 정책이 콘텐츠 모더레이션에 미치는 실제 영향을 조사하기 위해.
• 무고한 사용자에게 영향을 미치는 인스턴스 수준의 차단 정책으로 인한 부작용의 정도를 평가하기 위해.
• 피더레이션된 인스턴스 간 사용자 도달 범위와 콘텐츠 가시성에 정책이 미치는 영향을 분석하기 위해.
• 비유해 사용자까지 과도하게 차단하는 현상으로 이어지는 현재 모더레이션 관행의 한계를 규명하기 위해.
• 의도하지 않은 결과를 줄이면서도 모더레이션 효과성을 유지할 수 있도록 실행 가능한 세밀한 정책 메커니즘을 제안하기 위해.

제안 방법

• 5개월 동안 1298개의 Pleroma 인스턴스에서 대규모 데이터셋을 수집하여, 총 2450만 개의 게시물, 11만 명의 사용자, 46종의 다양한 모더레이션 정책을 포함함.
• Pleroma의 공개 API를 통해 피더레이션 정책을 추출하고 분석하여, 규칙-행동 쌍을 분류함. 특히 거부(reject), 미디어 제거, 태깅 등의 행동에 집중함.
• Google의 Perspective API를 사용하여 사용자 게시물을 유해성 여부로 분류함으로써, 차단된 사용자와 실제 유해 콘텐츠 간의 비교가 가능하도록 함.
• 인스턴스 간 정책 적용을 맵핑하여 과도한 차단 및 정책 겹침 패턴을 식별함.
• 세 가지 초기 정책 설계(스트로맨 정책)를 제안함: (1) 알려진 문제 있는 인스턴스를 대상으로 한 컨텐츠 블록리스트, (2) 타겟 모더레이션을 위한 사용자 수준 태깅, (3) 반복 신고 또는 유해성 기준에 기반한 자동 트리거.
• 피더레이션된 인스턴스 간 유해성 점수와 사용자 도달 범위와의 상관관계를 분석하여 정책 영향을 평가함.

실험 결과

연구 질문

• RQ1 Pleroma 인스턴스 수준의 모더레이션 정책이 비범한 사용자 기반, 즉 무고한 사용자에게 얼마나 영향을 미치는가?
• RQ2 차단된 인스턴스의 사용자들이 실제로 생산하는 유해 콘텐츠 비율과 그들의 실제 유해성 수준은 어떻게 비교되는가?
• RQ3 관리자가 사용하는 정책 유형과 행동의 주요 유형은 무엇이며, 이는 어떻게 인스턴스 간에 적용되는가?
• RQ4 부작용을 줄이면서도 효과적인 콘텐츠 모더레이션을 유지할 수 있도록 정책 메커니즘을 재설계할 수 있는가?
• RQ5 자동화된 도구와 커뮤니티가 정리한 목록이 모더레이션 정밀도 향상에 어떤 역할을 하는가?

주요 결과

• Pleroma 인스턴스 전체에서 97.7%의 사용자와 97.8%의 게시물이 적어도 하나의 모더레이션 정책의 영향을 받음—이는 피더레이션 정책이 거의 전면적 영향을 미친다는 것을 시사함.
• 거부(reject) 행동—전체 인스턴스 차단—이 가장 흔한 정책이며, 전체 사용자의 86.2%와 게시물의 88.5%에 영향을 줌.
• 차단된 인스턴스의 사용자 중 95.8%는 Google의 Perspective API에 의해 유해하지 않다고 분류됨—이로 인해 광범위한 부작용이 발생함을 드러냄.
• 차단된 인스턴스의 사용자 중 유해로 분류된 비율은 오직 4.2%에 불과함—현재 정책가 비유해 사용자에게 과도하게 영향을 미친다는 것을 시사함.
• 본 연구는 현재 정책가 굵은 틀의 인스턴스 수준 차단에 의존하여, 악성 사용자와 무고한 사용자 간의 차이를 구분하지 못함을 규명함.
• 저자들은 세 가지 정교한 정책 메커니즘을 제안함: 컨텐츠 블록리스트, 사용자 수준 태깅, 유해성 기준 또는 신고 빈도에 기반한 자동 트리거—이를 통해 부작용을 줄임.