[논문 리뷰] Automated Content Moderation Increases Adherence to Community Guidelines

Manoel Horta Ribeiro, Justin Cheng외 1명|arXiv (Cornell University)|2022. 10. 19.

Hate Speech and Cyberbullying Detection인용 수 4

한 줄 요약

이 연구는 4억 1,200만 개의 페이스북 댓글을 대상으로 퍼지 회귀 중단 설계를 사용하여 자동 콘텐츠 모니터링의 규칙 위반 행동 및 참여도에 미치는 영향을 평가한다. 삭제 조치—특히 짧은 스레드에서—는 이후 규칙 위반 행동을 유의미하게 감소시키며, 이는 효과적인 위협 작용을 의미한다. 반면 숨기기 조치는 영향이 거의 없어, 삭제가 커뮤니티 가이드라인 이행에 더 효과적임을 시사한다.

ABSTRACT

Online social media platforms use automated moderation systems to remove or reduce the visibility of rule-breaking content. While previous work has documented the importance of manual content moderation, the effects of automated content moderation remain largely unknown. Here, in a large study of Facebook comments (n=412M), we used a fuzzy regression discontinuity design to measure the impact of automated content moderation on subsequent rule-breaking behavior (number of comments hidden/deleted) and engagement (number of additional comments posted). We found that comment deletion decreased subsequent rule-breaking behavior in shorter threads (20 or fewer comments), even among other participants, suggesting that the intervention prevented conversations from derailing. Further, the effect of deletion on the affected user's subsequent rule-breaking behavior was longer-lived than its effect on reducing commenting in general, suggesting that users were deterred from rule-breaking but not from commenting. In contrast, hiding (rather than deleting) content had small and statistically insignificant effects. Our results suggest that automated content moderation increases adherence to community guidelines.

연구 동기 및 목표

• 온라인 커뮤니티에서 자동 콘텐츠 모니터링의 인과적 영향을 평가하기 위해.
• 숨기기와 삭제라는 두 가지 모니터링 간섭 조치의 규칙 위반 및 참여도에 미치는 영향을 비교하기 위해.
• 실제 페이스북 데이터를 활용해 자동 모니터링이 규칙 위반을 억제하는지, 또는 반감을 유도하는지 이해하기 위해.
• 스레드 길이 또는 사용자 이력(초기 위반자 대 반복 위반자)에 따라 모니터링 효과가 다를지 평가하기 위해.
• 대규모 플랫폼에서 효과적이고 확장 가능한 콘텐츠 모니터링 시스템을 설계하기 위한 근거가 되는 통찰을 제공하기 위해.

제안 방법

• 연구는 자동 모니터링 시스템에서 임계값 기반 간섭을 활용하여 인과 효과를 추정하기 위해 퍼지 회귀 중단 설계(RDD)를 사용한다.
• 기계학습 분류기가 규칙 위반 여부를 평가한 페이스북 댓글을 분석하며, 숨기기($t_{\text{hide}}$) 또는 삭제($t_{\text{delete}}$) 조치가 설정된 임계값을 초과할 경우 발생한다.
• RDD 접근법은 이러한 임계값 근처에서 위계가 약간 높거나 낮은 댓글을 비교하여 중단을 자연 실험으로 간주하고 인과 효과를 분리한다.
• 결과 변수로는 이후 규칙 위반 행동(숨기기/삭제된 댓글 수)과 참여도(추가 댓글 수)를 포함한다.
• 분석은 사용자 수준(영향을 받은 사용자)과 스레드 수준(동일한 대화에 속한 다른 사용자)에서 수행되며, 스레드 길이와 사용자 유형(초기 위반자 대 반복 위반자)에 따라 분류된다.
• 통계적 추론은 군집화와 이질분산을 고려하여 시행되며,稳健한 표준오차와 $p < 0.05$ 기준의 유의성 검정을 사용한다.

실험 결과

연구 질문

• RQ1 같은 대화 스레드 내 사용자들에 대해 자동 콘텐츠 모니터링, 특히 삭제 조치가 이후 규칙 위반 행동을 줄이는가?
• RQ2 숨기기와 삭제의 효과는 규칙 위반 감소와 참여도 조절 측면에서 어떻게 다를까?
• RQ3 스레드 길이에 따라 모니터링의 영향이 달라지나, 특히 짧은(≤20개 댓글) 대비 긴 스레드에서 그러한가?
• RQ4 초기 위반자일수록 삭제 조치에 의해 더 강하게 위협을 받는가?
• RQ5 모니터링은 규칙 위반 행동을 증가시켜 반감 효과를 일으키는가, 아니면 커뮤니티 가이드라인 준수를 촉진하는가?

주요 결과

• 20개 이하의 댓글을 포함한 스레드에서는 규칙 위반 댓글 삭제가 이후 규칙 위반 행동을 유의미하게 감소시켰으며, 스레드당 13.16건의 감소(95% 신뢰구간: -21.23 ~ -5.10)를 보여, 강력한 위협 작용을 확인했다.
• 삭제 조치가 규칙 위반 행동 감소에 미치는 영향은 일반적인 댓글 작성 행동 감소에 비해 더 오래 지속되었으며, 이는 사용자들이 규칙 위반을 피하려는 경향이 있지만 대화 참여를 계속하려는 경향이 있음을 시사한다.
• 콘텐츠 숨기기 조치는 규칙 위반 또는 참여도에 통계적으로 유의미한 영향을 미치지 않았으며, 추정 효과는 거의 0에 가까웠고, 신뢰구간이 0을 포함했다.
• 초기 위반자 중에서는 삭제 조치로 첫 7일 간 4.55건의 규칙 위반 행동 감소가 있었으며(95% 신뢰구간: -6.00 ~ -3.11), 효과는 시간이 지남에도 지속되었다.
• 반복 위반자 중에서는 삭제 조치로 첫 7일 간 3.37건의 규칙 위반 행동 감소가 있었지만(95% 신뢰구간: -8.35 ~ 1.61), 통계적으로 유의미하지 않았다.
• 삭제 조치의 영향은 특히 대화가 파국에 이를 위험이 높은 짧은 스레드에서 가장 두드러졌으며, 이는 소규모 논의에서 표적 간섭이 가장 효과적임을 시사한다.