[논문 리뷰] Engagement Outweighs Exposure to Partisan and Unreliable News within Google Search

Ronald E. Robertson, Jon Green외 4명|arXiv (Cornell University)|2021. 12. 31.

Misinformation and Its Impacts인용 수 7

한 줄 요약

이 연구는 2018년과 2020년 미국 선거 기간 동안 Google 검색에서 파벌적 및 신뢰할 수 없는 뉴스 노출과 참여도를 분석하기 위해 참가자 448명으로부터 생태학적으로 타당한 노출 및 참여 데이터를 수집하기 위해 맞춤형 브라우저 확장 기능을 도입하였다. 연구 결과, 파벌 정체성은 노출을 약하게 예측하지만 참여도를 강하게 예측함을 확인하였으며, 이는 사용자 자신의 선택—알고리즘적 정렬이 아니라—이 파벌적 및 불신뢰할 만한 뉴스의 선택적 소비를 이끄는 핵심 요인임을 시사한다.

ABSTRACT

If popular online platforms systematically expose their users to partisan and unreliable news, they could potentially contribute to societal issues like rising political polarization. This concern is central to the echo chamber and filter bubble debates, which critique the roles that user choice and algorithmic curation play in guiding users to different online information sources. These roles can be measured in terms of exposure, the URLs seen while using an online platform, and engagement, the URLs selected while on that platform or browsing the web more generally. However, due to the challenges of obtaining ecologically valid exposure data--what real users saw during their regular platform use--studies in this vein often only examine engagement data, or estimate exposure via simulated behavior or inference. Despite their centrality to the contemporary information ecosystem, few such studies have focused on web search, and even fewer have examined both exposure and engagement on any platform. To address these gaps, we conducted a two-wave study pairing surveys with ecologically valid measures of exposure and engagement on Google Search during the 2018 and 2020 US elections. We found that participants' partisan identification had a small and inconsistent relationship with the amount of partisan and unreliable news they were exposed to on Google Search, a more consistent relationship with the search results they chose to follow, and the most consistent relationship with their overall engagement. That is, compared to the news sources our participants were exposed to on Google Search, we found more identity-congruent and unreliable news sources in their engagement choices, both within Google Search and overall. These results suggest that exposure and engagement with partisan or unreliable news on Google Search are not primarily driven by algorithmic curation, but by users' own choices.

연구 동기 및 목표

• 사용자 선택과 알고리즘적 정렬이 Google 검색에서 파벌적 및 불신뢰할 만한 뉴스에 대한 노출과 참여도에 미치는 영향을 조사하기 위해.
• 이전 연구에서 생태학적으로 타당한 노출 데이터의 부족을 해결하기 위해 실제 검색 사용 중 실시간으로 참가자 수준의 노출 및 참여 데이터를 수집하기 위해.
• 웹 검색에서 파벌 정체성이 노출(보기까지 한 URL)과 참여도(클릭하거나 방문한 URL)에 미치는 영향을 비교하기 위해.
• 알고리즘적 정렬인지 사용자 기반 행동이 파벌적 및 불신뢰할 만한 뉴스에 대한 선택적 노출의 주요 원인인지 평가하기 위해.
• 정보 생태계에서 중요한데도 다뤄지지 않은 채로 남아 있는 웹 검색에서의 뉴스 소비 역학에 대한 실증적 증거를 제공하기 위해.

제안 방법

• 2018년과 2020년 동안 참가자들이 정기적으로 Google 검색을 사용하는 동안 실시간으로 생태학적으로 타당한 노출 및 참여 데이터를 수집하기 위해 맞춤형 브라우저 확장 기능을 구현하였다.
• 노출을 검색 결과에 표시된 URL로, 참여도를 Google 검색 내외에서 클릭하거나 방문한 URL로 운영 정의하였다.
• 기존의 미디어 편향 평가 기준에 기반해 도메인 수준의 분류를 통해 파벌적 및 불신뢰할 만한 뉴스 출처를 식별하였다.
• 정치적 정체성에 따라 행동적 차이를 수량화하기 위해 참가자의 검색 쿼리에 비지도 NLP 기법을 적용하였다.
• 다변량 회귀 모델을 사용하여 연령, 성별, 정치적 관심도 등의 변수를 보정한 상태에서 파벌성과 노출, 참여도, 후속 행동 간의 관계를 평가하였다.
• 모델 적합도를 비교하고 각 결과에 가장 적합한 모델을 선별하기 위해 AIC 및 deviance 통계량을 사용하였다.

실험 결과

연구 질문

• RQ1 파벌 정체성은 Google 검색에서 파벌적 및 불신뢰할 만한 뉴스에 대한 노출을 예측할 수 있는가?
• RQ2 파벌 정체성은 Google 검색에서 파벌적 및 불신뢰할 만한 뉴스 출처에 대한 참여도와 어떻게 관련이 있는가?
• RQ3 사용자 선택(참여도로 측정)이 Google 검색에서 파벌적 및 불신뢰할 만한 뉴스에 대한 노출 형성에 알고리즘 정렬을 얼마나 뛰어넘는가?
• RQ4 다양한 정치적 정체성을 가진 사용자 간에 파벌적 및 불신뢰할 만한 뉴스에 대한 노출과 참여도에서 검색 행동은 어떻게 다를까?
• RQ5 파벌성과 뉴스 소비 간의 관계는 노출보다 참여도에서 더 강한가?

주요 결과

• 파벌 정체성은 Google 검색에서 파벌적 및 불신뢰할 만한 뉴스에 대한 노출과 미미하고 일관되지 않은 관계를 보였으며, 민주당 지지자에게는 유의미한 영향이 없었고, 공화당 지지자에게서도 약한 효과만 나타났다.
• 파벌 정체성은 참여도와 더 일관되고 유의미한 관계를 보였으며, 강력한 공화당 지지자는 독립표준 대비 파벌적 뉴스에 대해 1.402배 높은 참여도를 보였다(p < 0.01).
• 노출보다 참여도가 항상 더 높게 나타나, 사용자들이 심지어 다양한 출처에 노출되어도 자신의 정체성과 일치하는 콘텐츠를 적극적으로 선택하고 있음을 시사한다.
• 파벌성과 참여도 간의 관계가 노출보다 더 강했으며, 이는 사용자 선택—알고리즘 정렬이 아니라—선택적 소비의 핵심 원인임을 시사한다.
• 2018년과 2020년 양 연도 모두에서 강력한 및 경향적인 공화당 지지자들이 민주당 지지자들보다 신뢰할 수 없는 뉴스 출처에 대해 유의미하게 더 높은 참여도를 보였으며, 효과 크기는 1.198에서 2.315 사이였고(p < 0.01).
• 참여도를 별도로 모델링했을 때 모델 적합도가 유의미하게 향상되었으며, AIC 값은 노출 모델의 479.2에서 참여도 모델의 465.0으로 감소하여 참여도가 파벌적 뉴스 소비에 더 나은 예측 변수임을 시사한다.