[논문 리뷰] Facebook's Architecture Undermines Vaccine Misinformation Removal Efforts

David Broniatowski, Jiayan Gu외 3명|arXiv (Cornell University)|2022. 02. 04.

Misinformation and Its Impacts인용 수 4

한 줄 요약

이 연구는 페이스북의 백신 오명소거 정책을 조사하여, 비록 반백신 게시물의 수를 줄였지만 예상치 못한 결과를 초래했다는 것을 밝혀냈다: 반백신 콘텐츠가 잘못 제거되었고, 남아 있는 반백신 콘텐츠는 더욱 오명 정보가 되었으며, 플랫폼 아키텍처가 공동체 형성을 우선시함에 따라 참여도가 정책 시행 이전 수준으로 회복되었다. 결과적으로 페이스북의 설계는 콘텐츠 모니터링 노력에도 불구하고 백신 오명 정보의 지속적이고 증폭된 확산을 암묵적으로 가능하게 한다.

ABSTRACT

Misinformation promotes distrust in science, undermines public health, and may drive civil unrest. Vaccine misinformation, in particular, has stalled efforts to overcome the COVID-19 pandemic, prompting social media platforms' attempts to reduce it. Some have questioned whether "soft" content moderation remedies -- e.g., flagging and downranking misinformation -- were successful, suggesting that the addition of "hard" content remedies -- e.g., deplatforming and content bans -- is necessary. We therefore examined whether Facebook's vaccine misinformation content removal policies were effective. Here, we show that Facebook's policies reduced the number of anti-vaccine posts but also caused several perverse effects: pro-vaccine content was also removed, engagement with remaining anti-vaccine content repeatedly recovered to pre-policy levels, and this content became more misinformative, more politically polarised, and more likely to be seen in users' newsfeeds. We explain these results as an unintended consequence of Facebook's design goal: promoting community formation. Members of communities dedicated to vaccine refusal appear to seek out misinformation from multiple sources. Community administrators make use of several channels afforded by the Facebook platform to disseminate misinformation. Our findings suggest the need to address how social media platform architecture enables community formation and mobilisation around misinformative topics when managing the spread of online content.

연구 동기 및 목표

• 페이스북의 콘텐츠 모니터링 정책이 백신 오명 정보를 줄이는 데 얼마나 효과적인지 평가하기.
• 페이스북의 모니터링 전략이 콘텐츠 가시성과 사용자 참여도에 미치는 예기치 못한 영향을 조사하기.
• 플랫폼 아키텍처, 특히 공동체 형성 기능이 백신 오명 정보의 지속성과 확산을 어떻게 가능하게 하는지 분석하기.
• 공동체 관리자가 플랫폼 기능을 악용해 여러 출처를 통해 오명 정보를 확산시키는 방식을 이해하기.

제안 방법

• 연구진은 2020년에서 2021년 사이 페이스북의 콘텐츠 모니터링 정책과 그 이행 방식을 분석했다.
• 정책 시행 전후의 반백신 및 반백신 콘텐츠의 가시성과 참여도를 종단적 분석했다.
• 반백신 공동체 내 사용자 행동과 콘텐츠 패턴을 분석하여 다중 출처 공유 및 플랫폼 기능 활용을 중점적으로 다뤘다.
• 참여도 지표와 콘텐츠 분류를 활용해 콘텐츠 품질, 극단화 수준, 알고리즘 기반 가시성 변화를 평가했다.
• 공동체 관리자가 여러 채널을 통해 오명 정보 확산을 조율하는 데서 수행하는 역할을 평가했다.
• 공개된 페이스북 콘텐츠와 정책 보고서에서 유래한 정성적 및 정량적 자료를 활용해 체계적 설계 결함을 식별했다.

실험 결과

연구 질문

• RQ1 페이스북의 콘텐츠 모니터링 정책이 플랫폼 내 반백신 콘텐츠의 양을 얼마나 줄였는가?
• RQ2 정책 시행에도 불구하고 남아 있는 반백신 콘텐츠의 참여도가 정책 시행 이전 수준으로 회복된 이유는 무엇인가?
• RQ3 플랫폼 아키텍처, 특히 공동체 형성 메커니즘이 백신 오명 정보의 지속성에 어떻게 기여했는가?
• RQ4 공동체 관리자가 다중 출처 확산 전략을 통해 콘텐츠 제거를 회피하는 데 어떤 역할을 했는가?
• RQ5 모니터링 이후 남아 있는 반백신 콘텐츠의 품질과 극단화 수준은 어떻게 변화했는가?

주요 결과

• 페이스북의 모니터링 정책은 반백신 게시물의 수를 줄였지만, 참여도가 정책 시행 이전 수준으로 회복되면서 일시적인 감소에 그쳤다.
• 반백신 콘텐츠가 자주 잘못 분류되어 제거되어, 콘텐츠 모니터링 알고리즘의 결함을 드러냈다.
• 남아 있는 반백신 콘텐츠는 더욱 오명 정보가 되었고, 정치적으로 더욱 극단화되었으며, 모니터링 이후 사용자 뉴스피드에 더 자주 노출되었다.
• 반백신 공동체는 다수의 출처에서 오명 정보를 적극적으로 확보하여 페이스북의 플랫폼 기능을 악용해 가시성을 유지했다.
• 공동체 관리자들은 여러 채널과 복수 게시 전략을 활용해 콘텐츠 제거를 회피했고, 오명 정보의 영향력 유지에 기여했다.
• 플랫폼의 공동체 형성 촉진 목표가 오명 정보 주제에 대한 조율된 동원을 암묵적으로 가능하게 하여, 모니터링 결과를 약화시켰다.