[논문 리뷰] Social media algorithms can curb misinformation, but do they?

Chhandak Bagchi, Filippo Menczer외 4명|arXiv (Cornell University)|2024. 09. 26.

Misinformation and Its Impacts인용 수 1

한 줄 요약

이 논문은 2023년 Guess 등에 의한 페이스북 알고리즘에 대한 연구의 타당성을 도전하며, 2020년 미국 선거 기간 동안 가짜 정보를 억제하기 위해 일시적으로 시행된 '브레이크글라스' 알고리즘 변경 사항이 실험의 통제 조건을 크게 변화시켰다는 점을 입증한다. 저자들은 연구 기간 동안 신뢰할 수 없는 뉴스 뷰가 24% 감소한 것은 알고리즘 피드 자체 때문이 아니라 이러한 공개되지 않은 변경 사항 탓일 가능성이 크며, 이는 알고리즘이 가짜 정보를 확산시키지 않는다는 연구의 결론을 뒤엎는다.

ABSTRACT

A recent article in $ extit{Science}$ by Guess et al. estimated the effect of Facebook's news feed algorithm on exposure to misinformation and political information among Facebook users. However, its reporting and conclusions did not account for a series of temporary emergency changes to Facebook's news feed algorithm in the wake of the 2020 U.S. presidential election that were designed to diminish the spread of voter-fraud misinformation. Here, we demonstrate that these emergency measures systematically reduced the amount of misinformation in the control group of the study, which was using the news feed algorithm. This issue may have led readers to misinterpret the results of the study and to conclude that the Facebook news feed algorithm used outside of the study period mitigates political misinformation as compared to reverse chronological feed.

연구 동기 및 목표

• 페이스북의 알고리즘 뉴스 피드와 그 가짜 정보 노출에 대한 영향을 평가하기 위해 Guess 등이 2023년에 발표한 연구의 타당성을 검토한다.
• 2020년 미국 선거 기간 동안 일시적으로 시행된 비상 알고리즘 변경 사항이 Guess 등이 수행한 실험의 통제 조건에 영향을 미쳤는지 조사한다.
• 관찰된 신뢰할 수 없는 콘텐츠 노출 감소가 기본 알고리즘 피드 때문인지, 아니면 알고리즘 변경 때문인지 평가한다.
• 플랫폼의 알고리즘 변경 사항을 보고하지 않은 채로 발생하는 디지털 현장 실험에서의 시간적 타당성 결함의 위험을 부각한다.
• 연구의 타당성과 공공의 책임을 보장하기 위해 소셜 미디어 플랫폼에 대한 알고리즘 투명성 향상과 독립적 감사의 필요성을 주장한다.

제안 방법

• 저자들은 사용자들이 신뢰할 수 있는 및 불신뢰할 수 있는 출처에서 뉴스를 얼마나 노출하는지 측정하기 위해 Messing 등(2020)의 페이스북 URL 데이터셋을 분석했다.
• 신뢰성 없는 출처는 신뢰성/사실 확인(MBFC) 평가 기준을 사용하여 정의하였으며, 사실 기반 보도에 대해 '혼합', '낮음', 또는 '매우 낮음'으로 평가된 매체를 중심으로 분석하였다.
• 주간 평균 뷰 수를 계산하고, 2020년 9월부터 2021년 3월까지의 기간 동안 신뢰할 수 없는 뉴스 뷰 비율의 변화를 추적하였다.
• Guess 등이 수행한 실험 기간 동안 관찰된 신뢰할 수 없는 콘텐츠 노출 감소를 전체 기간의 추세와 비교하여, 신뢰할 수 없는 뷰 비율이 24% 감소한 것으로 확인하였다.
• NewsGuard 점수를 사용하여 결과를 교차 검증하였으며, 이는 유사한 추세를 보임을 확인하였다.
• 메타가 선거 이후 가짜 정보 억제를 위해 도입한 63건의 '브레이크글라스' 알고리즘 변경 사항의 기록과 함께 연구 결과를 맥락화하였다.

실험 결과

연구 질문

• RQ1 2020년 미국 선거 기간 동안 메타에서 시행한 일시적인 '브레이크글라스' 알고리즘 변경 사항이 Guess 등이 수행한 랜덤화 실험의 통제 조건에 얼마나 영향을 미쳤는가?
• RQ2 실험 기간 동안 관찰된 신뢰할 수 없는 콘텐츠에 대한 노출 감소가 알고리즘 피드 때문인지, 아니면 비상 플랫폼 개입 때문인지?
• RQ3 보고되지 않은 알고리즘 변경 사항이 소셜 미디어 플랫폼에서의 디지털 현장 실험의 시간적 타당성과 일반화 가능성에 어떤 영향을 미치는가?
• RQ4 만약 같은 실험이 비상 알고리즘 변경 기간 외부에서 수행된다면, Guess 등의 연구에서 관찰된 효과를 재현할 수 있는가?
• RQ5 플랫폼의 알고리즘 투명성 부족은 독립적 연구와 가짜 정보에 대한 공공 정책에 어떤 영향을 미치는가?

주요 결과

• 2020년 11월 3일부터 2021년 3월 8일까지 알고리즘 피드에서 신뢰할 수 없는 뉴스 뷰 비율이 약 24% 감소하였다. 이는 Guess 등의 연구 기간과 겹친다.
• 이러한 신뢰할 수 없는 콘텐츠의 감소는 기본 알고리즘 피드 때문이 아니라 메타의 63건의 비상 '브레이크글라스' 알고리즘 변경 때문일 가능성이 크다.
• 연구가 알고리즘 피드가 신뢰할 수 없는 콘텐츠에 대한 노출을 줄인다고 결론 내린 것은, 공개되지 않은 플랫폼 개입으로 인해 통제 조건이 변형되었기 때문에 타당성이 떨어질 수 있다.
• 이러한 일시적인 알고리즘 변경 사항은 2020년 미국 대선 이후 바로 신뢰할 수 없는 출처의 가시성을 낮추기 위해 설계되었다.
• 결과적으로 소셜 미디어 알고리즘이 위기 상황에서 활성화된 경우에만 가짜 정보를 억제할 수 있음을 시사하며, 이는 장기적 신뢰성과 투명성에 대한 우려를 제기한다.
• 업데이트된 플랫폼 데이터 접근과 일관된 알고리즘 공개 없이서는 향후 가짜 정보 연구가 완전하지 않으며, 오해의 소지가 있을 수 있다.