[论文解读] CovidNet: To Bring Data Transparency in the Era of COVID-19

Tong Yang, Kai Shen+11 more|arXiv (Cornell University)|May 22, 2020

Data-Driven Disease Surveillance被引用 10

一句话总结

CovidNet 是一个实时、全球可扩展的 COVID-19 追踪平台，通过自动化管道和众包验证，汇聚了来自 27 个以上国家超过 4,124 个次级行政区的细粒度病例数据。它提供开放、可访问且交互式的数据集，截至 2020 年 5 月，已被超过 522 家机构和 2 亿次独立访问使用，作为公共卫生、政策制定和研究领域关键的独立数据来源。

ABSTRACT

Timely, creditable, and fine-granular case information is vital for local communities and individual citizens to make rational and data-driven responses to the COVID-19 pandemic. This paper presents CovidNet, a COVID-19 tracking project associated with a large scale epidemic dataset, which was initiated by 1Point3Acres. To the best of our knowledge, the project is the only platform providing real-time global case information of more than 4,124 sub-divisions from over 27 countries worldwide with multi-language supports. The platform also offers interactive visualization tools to analyze the full historical case curves in each region. Initially launched as a voluntary project to bridge the data transparency gap in North America in January 2020, this project by far has become one of the major independent sources worldwide and has been consumed by many other tracking platforms. The accuracy and freshness of the dataset is a result of the painstaking efforts from our voluntary teamwork, crowd-sourcing channels, and automated data pipelines. As of May 18, 2020, the project website has been visited more than 200 million times and the CovidNet dataset has empowered over 522 institutions and organizations worldwide in policy-making and academic researches. All datasets are openly accessible for non-commercial purposes at https://coronavirus.1point3acres.com via a formal request through our APIs.

研究动机与目标

• 解决全球 COVID-19 大流行期间对及时、准确且细粒度的地方流行病数据的迫切需求。
• 弥合官方报告中的数据透明度缺口，尤其是在北美及其他资源匮乏地区。
• 建立一个可靠、独立且可扩展的数据整合平台，用于公共卫生监测与决策。
• 通过开放获取次国家级水平的高分辨率历史病例趋势，支持学术与政策研究。
• 通过结合自动化数据管道与众包验证及质量控制机制，支持实时全球监测。

提出的方法

• 部署了一个由志愿者驱动的开源网络平台，从多个国际的官方和公共数据源汇聚实时病例数据。
• 实施自动化数据管道，持续从官方卫生部门和可信公共数据仓库抓取并标准化数据。
• 整合众包机制，以验证和纠正官方报告中的差异，特别是在数据延迟或不一致的地区。
• 应用多层质量控制：数据源可靠性检查、时间一致性验证，以及与其他独立追踪平台（如 Covid Tracking Project）的交叉比对。
• 开发交互式可视化工具，以显示次国家级水平（如州、县、省）的历史病例曲线与区域趋势。
• 提供开放 API，供非商业用途访问完整的历史数据集，支持研究、政策制定及第三方平台集成。

实验结果

研究问题

• RQ1 在全球疫情中，官方报告不一致的情况下，如何可靠且透明地汇聚实时、次国家级的病例数据？
• RQ2 自动化数据管道与众包结合，在公共卫生监测中能在多大程度上提升数据的准确性与时效性？
• RQ3 高分辨率地理数据对疫情决策、政策评估与学术研究有何影响？
• RQ4 当政府报告存在延迟或不完整时，独立的开放数据平台如何作为官方数据源的关键替代方案？
• RQ5 全球性、多语言且开放的数据整合在支持国际公共卫生协调与建模方面发挥何种作用？

主要发现

• 截至 2020 年 5 月 18 日，CovidNet 平台的访问量已超过 2 亿次，表明其受到公众和机构的广泛依赖。
• 该数据集被全球 522 多家机构和组织使用，包括 Wikipedia 和 CDC 等主要平台，证实其作为关键独立数据源的地位。
• CovidNet 为 27 个以上国家的超过 4,124 个行政区域提供了实时、次级行政区级别的数据，历史病例曲线可供分析。
• 该平台成为 Dong et al. (2020) 和 Wikipedia 等主要追踪平台的原始数据提供方，彰显其可信度与可扩展性。
• 整合 Covid Tracking Project 提供的检测与住院数据，显著增强了数据集在全面评估地方疫情方面的实用性。
• 开放 API 与正式的数据请求流程，使非商业用户能够访问数据集，支持大规模学术研究与政策建模。