[논문 리뷰] Analysing the Effect of Recommendation Algorithms on the Amplification of Misinformation

Miriam Fernández, Alejandro Bellogín외 1명|arXiv (Cornell University)|2021. 03. 26.

Misinformation and Its Impacts참고 문헌 69인용 수 10

한 줄 요약

이 논문은 투표 기반 추천 알고리즘의 구조적 및 매개변수적 영향을 분석하여 트위터에서 가짜 정보가 확산되는 방식을 조사한다. 최근 공개된 편집자 레이블이 부여된 뉴스 및 진술 데이터셋을 사용하여 협업 필터링 및 콘텐츠 기반 필터링과 같은 알고리즘을 평가함으로써, 특정 설정에서 가짜 콘텐츠 노출이 크게 증가하는 것으로 밝혀졌으며, 가짜 정보 확산을 완화하기 위한 더 책임감 있는 추천 시스템 설계를 위한 실용적 지침을 제공한다.

ABSTRACT

Recommendation algorithms have been pointed out as one of the major culprits of misinformation spreading in the digital sphere. However, it is still unclear how these algorithms really propagate misinformation, e.g., it has not been shown which particular recommendation approaches are more prone to suggest misinforming items, or which internal parameters of the algorithms could be influencing more on their misinformation propagation capacity. Motivated by this fact, in this paper we present an analysis of the effect of some of the most popular recommendation algorithms on the spread of misinformation in Twitter. A set of guidelines on how to adapt these algorithms is provided based on such analysis and a comprehensive review of the research literature. A dataset is also generated and released to the scientific community to stimulate discussions on the future design and development of recommendation algorithms to counter misinformation. The dataset includes editorially labelled news items and claims regarding their misinformation nature.

연구 동기 및 목표

• 소셜 미디어 플랫폼인 트위터에서 추천 알고리즘이 가짜 정보 확산에 기여하는 방식을 조사하는 것.
• 가짜 또는 오해의 소지가 있는 콘텐츠의 확산에 가장 강하게 영향을 주는 알고리즘적 접근 방식과 내부 매개변수를 특정하는 것.
• 가짜 정보 노출을 줄이기 위해 추천 시스템을 수정하기 위한 실용적 지침을 개발하는 것.
• 향후 가짜 정보 완화 연구를 위한 고품질의 편집자 레이블이 부여된 뉴스 항목 및 진술 데이터셋을 생성하고 공개하는 것.
• 윤리적이고 가짜 정보에 저항하는 추천 시스템 설계에 대한 학술적 및 기술적 논의를 촉진하는 것.

제안 방법

• 연구는 실제 트위터 데이터셋을 기반으로 널리 사용되는 추천 알고리즘, 즉 협업 필터링, 콘텐츠 기반 필터링, 하이브리드 모델을 평가한다.
• 편집자 레이블이 부여된 트위터 게시물이 포함된 신규 데이터셋을 구축하였으며, 이는 사실 확인 소스를 바탕으로 콘텐츠가 가짜 정보인지 여부를 나타낸다.
• 이 알고리즘을 사용하여 추천 시나리오를 시뮬레이션하여 사용자에게 가짜 정보가 얼마나 자주 추천되는지 측정한다.
• 알고리즘 하이퍼파라미터의 변화가 가짜 콘텐츠 확산에 미치는 영향을 평가하기 위해 매개변수 민감도 분석을 수행한다.
• 이력 데이터를 사용한 오프라인 평가와 함께, 가짜 정보 확산에서 알고리즘 행동의 정성적 해석을 포함한 분석을 수행한다.
• 평가 프레임워크 설계 및 완화 지침 개발을 뒷받침하기 위해 철저한 문헌 고찰을 수행한다.

실험 결과

연구 질문

• RQ1 트위터에서 가짜 정보를 가장 많이 확산시키는 추천 알고리즘은 무엇인가?
• RQ2 특정 알고리즘 매개변수가 가짜 또는 오해의 소지가 있는 콘텐츠를 추천할 가능성에 어떻게 영향을 주는가?
• RQ3 추천 시스템의 어떤 구조적 및 행동적 특성이 가짜 정보 확산에 가장 크게 기여하는가?
• RQ4 추천 알고리즘은 어떻게 수정되어야 가짜 정보의 확산을 줄일 수 있는가?
• RQ5 가짜 정보 추천 시스템 연구에 가장 효과적인 데이터셋 특성과 레이블링 전략는 무엇인가?

주요 결과

• 협업 필터링 알고리즘은 에코 챔버와 유사한 네트워크 구조에서 콘텐츠 기반 접근 방식보다 가짜 정보 확산 경향이 더 뚜렷하게 나타났다.
• 추천에 다양성이 높은 알고리즘은 가짜 정보에 대한 노출을 줄였지만, 인기 또는 유행하는 콘텐츠를 우선시하는 알고리즘은 그 노출을 크게 증가시켰다.
• 밴딧 기반 추천 시스템에서 탐색 비율을 높이면 가짜 주장의 추천 확률이 유의미하게 감소하는 것으로 나타났다.
• 연구에서 알고리즘 매개변수의 미세한 변화—예를 들어 사용자 참여도에 할당되는 가중치—만으로도 가짜 정보 확산에 상당한 영향을 미칠 수 있음을 발견했다.
• 공개된 데이터셋에는 확인된 가짜 정보 레이블이 부여된 10,000건 이상의 트위터 게시물이 포함되어 있어, 향후 알고리즘 설계의 재현 가능한 평가를 가능하게 한다.
• 분석 결과, 추천 시스템이 정확성보다는 참여도를 우선시하는 경향이 있어, 가짜 정보일지라도 정서적 또는 논란을 일으키는 매력이 있는 콘텐츠를 빠르게 확산시키는 경향이 있음을 밝혀냈다.