[논문 리뷰] Auditing News Curation Systems: A Case Study Examining Algorithmic and Editorial Logic in Apple News

Jack Bandy, Nicholas Diakopoulos|arXiv (Cornell University)|2019. 08. 01.

Computational and Text Analysis Methods인용 수 12

한 줄 요약

이 연구는 사례 기반으로 애플 뉴스를 사회기술적 뉴스 큐레이션 시스템으로 분석하기 위한 감사 프레임워크를 개발하고 적용한다. 알고리즘 기반 큐레이션 '뜨는 뉴스'와 인간 기반 큐레이션 '상위 뉴스'를 비교한다. 결과적으로 알고리즘 섹션에서는 개인화나 지역화가 거의 이루어지지 않았으며, 뉴스 출처 집중도가 높고, 편향된 '소프트 뉴스'가 더 많았다. 반면 편집 섹션은 더 높은 출처 다양성과 균형을 보였다.

ABSTRACT

This work presents an audit study of Apple News as a sociotechnical news curation system that exercises gatekeeping power in the media. We examine the mechanisms behind Apple News as well as the content presented in the app, outlining the social, political, and economic implications of both aspects. We focus on the Trending Stories section, which is algorithmically curated, and the Top Stories section, which is human-curated. Results from a crowdsourced audit showed minimal content personalization in the Trending Stories section, and a sock-puppet audit showed no location-based content adaptation. Finally, we perform an extended two-month data collection to compare the human-curated Top Stories section with the algorithmically curated Trending Stories section. Within these two sections, human curation outperformed algorithmic curation in several measures of source diversity, concentration, and evenness. Furthermore, algorithmic curation featured more "soft news" about celebrities and entertainment, while editorial curation featured more news about policy and international events. To our knowledge, this study provides the first data-backed characterization of Apple News in the United States.

연구 동기 및 목표

• 알고리즘 뉴스 큐레이션 시스템의 감사 개념 프레임워크를 개발하는 것. 주요 초점은 메커니즘, 콘텐츠, 소비 방식이다.
• 매달 8,500만 명 이상의 사용자를 확보한 주요 뉴스 중개자로서 애플 뉴스의 게이트키핑 권한을 조사하는 것.
• 출처 다양성, 집중도, 콘텐츠 유형 측면에서 알고리즘 기반('뜨는 뉴스')과 편집 기반('상위 뉴스') 큐레이션을 비교하는 것.
• 혼합 방법 데이터 수집을 통해 애플 뉴스의 개인화 및 지역화 수준을 평가하는 것.
• 향후 알고리즘 뉴스 플랫폼 연구를 위한 재현 가능한 감사 방법론을 제공하는 것.

제안 방법

• 다양한 시간대와 사용자 프로필에서 애플 뉴스 콘텐츠 스크린샷을 수집하기 위해 공동 작업 기반 감사를 수행했다.
• 정확한 시간 동기화를 활용한 소크 페트(sock-puppet) 시뮬레이션을 통해 개인화 및 지역화 영향을 테스트했다.
• 자동화된 Appium 기반 스크래핑을 통해 2개월에 걸쳐 장기간 데이터 수집을 수행하여 콘텐츠 변화를 모니터링했다.
• 공개 API가 없는 상황에서 데이터 일관성을 확보하기 위해 공동 작업, 소크 페트, 스크래핑 방법을 융합했다.
• 큐레이션 메커니즘(예: 전환율, 적응성 등)과 콘텐츠 출력(예: 출처 다양성, 주제 분포 등)을 분석하는 개념적 감사 프레임워크를 적용했다.
• 출처 집중도, 균형도, 다양성 지수와 같은 정량적 지표를 사용하여 편집 및 알고리즘 큐레이션을 비교했다.

실험 결과

연구 질문

• RQ1 애플 뉴스의 '뜨는 뉴스' 섹션에서 사용자 프로필이나 위치 기반으로 콘텐츠가 얼마나 개인화되고 있는가?
• RQ2 애플 뉴스의 편집 및 알고리즘 큐레이션 과정은 출처 다양성, 집중도, 콘텐츠 유형 측면에서 어떻게 다를까?
• RQ3 알고리즘 기반 '뜨는 뉴스' 섹션은 인간 기반 '상위 뉴스'와 비교해 시간적 편향 또는 필터 버블 효과를 보이는가?
• RQ4 투명하지만 API 제한이 있는 뉴스 큐레이션 플랫폼을 감사하기 위해 가장 효과적인 방법론은 무엇인가?
• RQ5 애플 뉴스의 메커니즘과 콘텐츠는 디지털 미디어에서의 광범위한 사회기술적 게이트키핑 역학을 어떻게 반영하는가?

주요 결과

• '뜨는 뉴스' 섹션은 사용자 프로필이나 위치 기반 적응이 거의 확인되지 않았으며, 소크 페트 계정을 통해 테스트한 결과에도 마찬가지였다.
• 알고리즘 기반 큐레이션 메커니즘은 인간 기반 '상위 뉴스' 섹션에 비해 상당히 높은 출처 집중도를 보였다.
• '상위 뉴스' 섹션은 더 높은 출처 균형도와 다양성을 보였으며, 더 넓은 범위의 뉴스 출판사와 주제를 포함했다.
• '뜨는 뉴스' 섹션은 정책 및 국제 뉴스 대비 유명인, 엔터테인먼트, 예술 관련 '소프트 뉴스' 비중이 높았다.
• 2개월에 걸친 장기 데이터 수집 결과, 두 섹션 간 콘텐츠 구성의 지속적인 차이가 확인되었으며, 편집 큐레이션은 하드 뉴스를 더 선호했다.
• 공동 작업, 소크 페트, 스크래핑을 융합한 하이브리드 감사 접근법이 플랫폼 접근 제한을 극복하고 데이터 신뢰성을 확보하는 데 효과적이었다.