[논문 리뷰] Informed Crowds Can Effectively Identify Misinformation.

Paul Resnick, Aljohara Alfayez외 2명|arXiv (Cornell University)|2021. 08. 17.

Misinformation and Its Impacts참고 문헌 8인용 수 12

한 줄 요약

이 연구는 특히 개별 또는 공동으로 기사에 대해 조사하도록 유도된 정보를 갖춘 일반인들이 악성 뉴스를 식별하는 데 있어 단일 기자보다 뛰어난 성과를 낼 수 있음을 입증한다. 개인 연구 조건은 편향을 감소시켰고, 16명 이상의 일반인 패널은 보류된 기자 평가와의 일치도에서 전문 기자들조차 뛰어넘는 정확도를 보였다.

ABSTRACT

Can crowd workers be trusted to judge whether news-like articles circulating on the Internet are wildly misleading, or does partisanship and inexperience get in the way? We assembled pools of both liberal and conservative crowd raters and tested three ways of asking them to make judgments about 374 articles. In a no research condition, they were just asked to view the article and then render a judgment. In an individual research condition, they were also asked to search for corroborating evidence and provide a link to the best evidence they found. In a collective research condition, they were not asked to search, but instead to look at links collected from workers in the individual research condition. The individual research condition reduced the partisanship of judgments. Moreover, the judgments of a panel of sixteen or more crowd workers were better than that of a panel of three expert journalists, as measured by alignment with a held out journalist's ratings. Without research, the crowd judgments were better than those of a single journalist, but not as good as the average of two journalists.

연구 동기 및 목표

• 일반인이 잠재적인 편향과 경험이 부족함에도 불구하고 신뢰성 있게 오해의 소지가 있는 뉴스 기사를 식별할 수 있는지 평가하기 위해.
• 일반인들이 기사를 연구하도록 유도하는 것이 판단 정확도를 향상시키고 편향을 줄이는지 조사하기 위해.
• 일반인 패널의 성능을 단일 기자 및 그룹 기자 판단과 비교하여 악성 뉴스 탐지 능력을 평가하기 위해.
• 악성 뉴스 탐지에 효과적인 일반인 참여의 최적 규모와 방법을 규명하기 위해.

제안 방법

• 균형 잡힌 정치적 표현을 확보하기 위해 자유주의자와 보수주의자로 구성된 다양한 일반인 평가자 풀을 구성하였다.
• 세 가지 조건을 구현하였다: (1) 연구 없음—직접 판단만; (2) 개인 연구—일반인이 관련 증거를 검색하고 인용함; (3) 공동 연구—개인 연구 조건에서 수집된 링크를 다른 이들이 검토함.
• 374개의 뉴스 유사 기사를 사용하여 각 조건에서의 판단을 테스트하였다.
• 일반인 판단을 전문 기자들이 보류한 평가와 비교하여 정확도를 측정하였다.
• 정치적 소속에 따른 판단 일관성 분석을 통해 편향을 평가하였다.
• 패널 규모(예: 3명, 16명 이상)를 변수로 삼아 집계 효과를 평가하였다.

실험 결과

연구 질문

• RQ1 일반인들이 기사를 연구하도록 유도하는 것이 그들의 판단에서 정치적 편향을 감소시키는가?
• RQ2 일반인 패널이 악성 뉴스를 식별하는 데 단일 기자보다 뛰어나게 성과를 낼 수 있는가?
• RQ3 일반인 패널의 성능은 전문 기자 그룹의 성능과 어떻게 비교되는가?
• RQ4 다른 이들의 증거를 검토하는 공동 연구 조건이 개인 연구 또는 연구 없음 조건보다 판단 정확도를 향상시키는가?
• RQ5 일반인 기반 악성 뉴스 탐지에 최적의 패널 규모는 무엇인가?

주요 결과

• 개인 연구 조건은 연구 없음 조건에 비해 일반인 판단에서 정치적 편향을 유의미하게 감소시켰다.
• 16명 이상의 일반인 패널은 세 명의 전문 기자 패널보다 보류된 기자 평가와 더 높은 일치도를 보였다.
• 연구 없이도 일반인 판단은 단일 기자보다 나았지만, 두 명의 기자 평균 수준에는 미치지 못했다.
• 공동 연구 조건은 개인 연구 조건을 뛰어넘지 못했으며, 이는 다른 이들의 증거를 모아 정리하는 것보다 개인이 증거를 스스로 찾는 것이 더 효과적임을 시사한다.
• 적절한 규모(16명 이상)의 일반인 패널은 전문 기자들보다 더 높은 정확도를 달성했으며, 이는 확장 가능한 악성 뉴스 탐지의 강력한 잠재력을 보여준다.
• 이 연구는 지침을 통해 연구를 유도한 일반인들이 악성 뉴스 탐지에서 전문가 판단의 타당한 대안이 될 수 있음을 입증한다.