[论文解读] Auditing News Curation Systems: A Case Study Examining Algorithmic and Editorial Logic in Apple News

Jack Bandy, Nicholas Diakopoulos|arXiv (Cornell University)|Aug 1, 2019

Computational and Text Analysis Methods被引用 12

一句话总结

本研究开发并应用了一套审计框架，以分析苹果新闻作为社会技术新闻聚合系统的运作机制，对比其算法驱动的‘热门故事’与人工编辑的‘首页推荐’。结果显示，算法部分在个性化和本地化方面表现甚微，其内容来源集中度更高，且‘软新闻’（如名人、娱乐、艺术类内容）比例高于人工编辑部分，后者则展现出更高的来源多样性与分布均衡性。

ABSTRACT

This work presents an audit study of Apple News as a sociotechnical news curation system that exercises gatekeeping power in the media. We examine the mechanisms behind Apple News as well as the content presented in the app, outlining the social, political, and economic implications of both aspects. We focus on the Trending Stories section, which is algorithmically curated, and the Top Stories section, which is human-curated. Results from a crowdsourced audit showed minimal content personalization in the Trending Stories section, and a sock-puppet audit showed no location-based content adaptation. Finally, we perform an extended two-month data collection to compare the human-curated Top Stories section with the algorithmically curated Trending Stories section. Within these two sections, human curation outperformed algorithmic curation in several measures of source diversity, concentration, and evenness. Furthermore, algorithmic curation featured more "soft news" about celebrities and entertainment, while editorial curation featured more news about policy and international events. To our knowledge, this study provides the first data-backed characterization of Apple News in the United States.

研究动机与目标

• 开发用于审计算法新闻聚合系统的概念性框架，重点关注机制、内容与消费行为。
• 探究苹果新闻作为月活跃用户超8500万的主要新闻中介平台所具备的把关权力。
• 从来源多样性、集中度与内容类型等维度，对比分析算法（热门故事）与人工编辑（首页推荐）的聚合机制。
• 通过混合方法的数据采集手段，评估苹果新闻在个性化与本地化方面的表现。
• 为未来研究算法新闻平台提供可复现的审计方法论。

提出的方法

• 通过众包方式，在多个时间点和用户配置下收集苹果新闻内容的截图。
• 使用精准时间同步的虚拟账号（sock-puppet）模拟，测试个性化与本地化效应。
• 通过基于Appium的自动化爬取技术，开展为期两个月的持续数据采集，以监测内容随时间的变化。
• 结合众包、虚拟账号与爬取方法，弥补平台缺乏公开API的限制，确保数据一致性。
• 应用概念性审计框架，分析聚合机制（如内容更替率、适应性）与内容输出（如来源多样性、主题分布）。
• 使用量化指标（如来源集中度、分布均衡性与多样性指数）对比人工编辑与算法聚合的内容表现。

实验结果

研究问题

• RQ1 苹果新闻在其‘热门故事’板块中，基于用户档案或地理位置实现内容个性化的程度如何？
• RQ2 苹果新闻中的人工编辑与算法聚合在来源多样性、集中度与内容类型方面有何差异？
• RQ3 与人工编辑的‘首页推荐’相比，算法驱动的‘热门故事’是否存在时间偏差或信息茧房效应？
• RQ4 针对访问受限、缺乏API的新闻聚合平台，哪些方法论手段最有效？
• RQ5 苹果新闻的运作机制与内容输出如何反映数字媒体中更广泛的社会技术把关动态？

主要发现

• ‘热门故事’板块在用户档案或地理位置变化下，几乎未表现出个性化或本地化适应的证据，即使在使用虚拟账号测试时亦然。
• ‘热门故事’的算法聚合机制相比‘首页推荐’的人工编辑板块，表现出显著更高的来源集中度。
• ‘首页推荐’板块展现出更高的来源分布均衡性与多样性，涵盖更广泛的新闻来源与主题。
• ‘热门故事’板块中‘软新闻’（如名人、娱乐、艺术类内容）占比显著偏高，而政策与国际新闻比例较低。
• 为期两个月的持续数据采集证实了两板块在内容构成上的持久差异，人工编辑更倾向推送硬新闻。
• 结合众包、虚拟账号与自动化爬取的混合审计方法，有效克服了平台访问限制，并保障了数据可靠性。