[논문 리뷰] Understanding the (In)Effectiveness of Content Moderation: A Case Study of Facebook in the Context of the U.S. Capitol Riot

Ian Goldstein, Laura Edelson외 4명|arXiv (Cornell University)|2023. 01. 06.

Hate Speech and Cyberbullying Detection인용 수 4

한 줄 요약

이 연구는 1월 6일 캐피탈 빌디언 폭동 주변 미국 뉴스 소스 2,500개의 공개 참여 데이터를 활용해 페이스북의 콘텐츠 삭제 시점과 영향을 추론하는 새로운 방법을 개발한다. 분석 결과, 즉각적인 조치에도 불구하고 예측된 참여도의 약 21%만을 차단할 수 있었으며, 대부분의 확산이 30시간 이내에 발생하기에, 위기 상황에서 콘텐츠 모더레이션의 체계적 한계가 드러나며, 콘텐츠 확산 속도를 늦추는 알고리즘 개선이 필요하다는 점을 시사한다.

ABSTRACT

Social media networks commonly employ content moderation as a tool to limit the spread of harmful content. However, the efficacy of this strategy in limiting the delivery of harmful content to users is not well understood. In this paper, we create a framework to quantify the efficacy of content moderation and use our metrics to analyze content removal on Facebook within the U.S. news ecosystem. In a data set of over 2M posts with 1.6B user engagements collected from 2,551 U.S. news sources before and during the Capitol Riot on January 6, 2021, we identify 10,811 removed posts. We find that the active engagement life cycle of Facebook posts is very short, with 90% of all engagement occurring within the first 30 hours after posting. Thus, even relatively quick intervention allowed significant accrual of engagement before removal, and prevented only 21% of the predicted engagement potential during a baseline period before the U.S. Capitol attack. Nearly a week after the attack, Facebook began removing older content, but these removals occurred so late in these posts' engagement life cycles that they disrupted less than 1% of predicted future engagement, highlighting the limited impact of this intervention. Content moderation likely has limits in its ability to prevent engagement, especially in a crisis, and we recommend that other approaches such as slowing down the rate of content diffusion be investigated.

연구 동기 및 목표

• 위기 상황에서 페이스북의 콘텐츠 모더레이션 실질적 효과를 평가하여 유해 콘텐츠 노출을 제한하는 데 목적이 있다.
• 공개된 참여 데이터를 활용해 삭제 후 시점과 영향을 추론하는 방법을 개발하는 데 목적이 있다.
• 예측 모델을 활용해 삭제 전에 발생하는 참여도와 방지된 참여도의 양을 정량화하는 데 목적이 있다.
• 캐피탈 빌디언 폭동과 같은 고참여도 이벤트에서 콘텐츠 모더레이션의 유의미한 영향을 분석하는 데 목적이 있다.
• 투명성 향상 및 콘텐츠 확산 속도를 늦추는 등의 대안 전략을 제안하여 플랫폼 안전성을 강화하는 데 목적이 있다.

제안 방법

• 2,551개의 미국 뉴스 소스에서 매일 캡처한 활성 페이스북 게시물 스냅샷을 분석해 게시물의 사라진 시점을 기반으로 삭제를 추론한다.
• 동일한 페이지의 역사적 참여 패턴을 활용해 게시물의 참여 잠재력을 예측하는 모델을 개발하였으며, 일반 및 바이럴 게시물에 대해 오차율이 3.2~4.5% 수준이었다.
• 두 가지 핵심 지표를 정의하였다: '축적 참여도'(삭제 전 참여도)와 '방지된 참여도'(예측 잠재 참여도 - 실제 참여도).
• 기준 기간을 설정해 정상적인 참여도 수명 주기를 추정하였으며, 참여도의 90%가 게시 후 30시간 이내에 발생하는 것으로 확인되었다.
• 위기 기간 동안 동일한 지표를 적용해 1월 12일 페이스북 정책 변경 전후의 삭제 시점과 영향을 비교 분석하였다.
• 제3자 데이터를 활용해 소스의 사실성에 따라 분류하여, 위험도가 높은 콘텐츠가 비례적으로 더 많이 삭제되었는지 평가하였다.

실험 결과

연구 질문

• RQ1 페이스북은 미국 뉴스 발행자 및 인플루언서의 유해 콘텐츠를 얼마나 빨리 삭제하며, 삭제 전에 얼마나 많은 참여도가 발생하는가?
• RQ2 예측된 참여도와 실제 참여도를 비교해 콘텐츠 모더레이션이 얼마나 많은 유해 콘텐츠 노출을 방지하는가?
• RQ3 1월 6일 캐피탈 빌디언 폭동과 같은 고참여도 위기 상황에서 콘텐츠 모더레이션의 효과는 어떻게 변화하는가?
• RQ4 게시물의 참여도 수명 주기 정점에 비해 삭제가 얼마나 늦게 이루어지며, 실제 영향은 무엇인가?
• RQ5 콘텐츠 모더레이션 시스템 평가 및 설계를 향상시키기 위해 어떤 지표와 투명성 관행이 필요할까?

주요 결과

• 페이스북 게시물의 활성 참여도 수명 주기는 매우 짧으며, 참여도의 90%가 게시 후 첫 30시간 이내에 발생한다.
• 중간 삭제 시간이 21시간임에도 불구하고, 일반 기간 동안 콘텐츠 모더레이션은 예측된 참여도 잠재력의 약 21.2%만을 차단하였다.
• 캐피탈 빌디언 폭동 위기 기간 동안 초기에는 삭제가 느리고 효과적이지 못했으며, 예측된 참여도의 약 21%만이 차단되었고, 이는 기준 수준과 유사했다.
• 폭도 공격 후 6일이 지난 후 페이스북은 오래된 콘텐츠를 삭제하기 시작했지만, 이러한 늦은 삭제는 예측된 향후 참여도의 1% 미만을 영향을 받았다.
• 정책 변경과 발표가 있었음에도 불구하고, 콘텐츠 모더레이션은 위기 상황에서 콘텐츠 확산 속도를 따라가지 못했다.
• 결과적으로 콘텐츠 모더레이션만으로는 유해 콘텐츠 확산을 방지하는 데 부족하며, 콘텐츠 확산 속도를 늦추는 등의 대안 전략을 우선적으로 고려해야 한다는 점을 시사한다.