[论文解读] An Exploratory Characterization of Bugs in COVID-19 Software Projects

Akond Rahman, Effat Farhana|arXiv (Cornell University)|May 31, 2020

Advanced Malware Detection Techniques参考文献 2被引用 11

一句话总结

本研究分析了 GitHub 上 129 个开源的 COVID-19 软件项目，通过 550 个错误报告的定性分析，识别并分类了软件错误。研究识别出八类错误——数据、算法、依赖、文档、性能、安全、语法和用户界面（UI）——揭示了在数据挖掘项目中，数据类错误最为普遍，对改进统计建模和隐私保护型软件开发具有重要意义。

ABSTRACT

Context: The dire consequences of the COVID-19 pandemic has influenced development of COVID-19 software i.e., software used for analysis and mitigation of COVID-19. Bugs in COVID-19 software can be consequential, as COVID-19 software projects can impact public health policy and user data privacy. Objective: The goal of this paper is to help practitioners and researchers improve the quality of COVID-19 software through an empirical study of open source software projects related to COVID-19. Methodology: We use 129 open source COVID-19 software projects hosted on GitHub to conduct our empirical study. Next, we apply qualitative analysis on 550 bug reports from the collected projects to identify bug categories. Findings: We identify 8 bug categories, which include data bugs i.e., bugs that occur during mining and storage of COVID-19 data. The identified bug categories appear for 7 categories of software projects including (i) projects that use statistical modeling to perform predictions related to COVID-19, and (ii) medical equipment software that are used to design and implement medical equipment, such as ventilators. Conclusion: Based on our findings, we advocate for robust statistical model construction through better synergies between data science practitioners and public health experts. Existence of security bugs in user tracking software necessitates development of tools that will detect data privacy violations and security weaknesses.

研究动机与目标

• 理解开源 COVID-19 软件项目中软件错误的性质与分布，因其对公共卫生和政策的高风险影响。
• 识别疫情期间开发的软件项目中反复出现的错误类别，特别是涉及统计建模与数据处理的项目。
• 通过提供针对疫情响应软件的特定错误分类体系，支持从业者与研究人员提升软件质量。
• 倡导数据科学家与公共卫生专家之间建立更强的合作关系，以减少统计建模中的缺陷。

提出的方法

• 使用关键词 'covid-19' 从 GitHub 收集 129 个活跃开发的开源 COVID-19 软件项目。
• 对 550 个错误报告进行开放式与封闭式编码，通过迭代评分者共识识别并分类错误类型。
• 运用定性分析技术，基于报告中反复出现的模式，推导出八类明确的错误类别。
• 将错误类别映射到项目类型（如统计建模、用户追踪、医疗设备）以分析其频率与分布。
• 通过第三方评分者验证研究发现，以减少作者偏见并提高分类的可靠性。
• 针对每类错误提出实用的缓解策略，使用现有工具（如静态分析工具、安全扫描工具、用户界面测试工具）。

实验结果

研究问题

• RQ1 在开源的 COVID-19 软件项目中，最常见的错误类型是什么？
• RQ2 不同类型的 COVID-19 软件项目（如统计建模、用户追踪、医疗设备）中，错误类别有何差异？
• RQ3 特定错误类别（尤其是数据与安全类错误）对公共卫生结果与软件质量有何影响？
• RQ4 从业者与研究人员如何利用错误分类来提升疫情响应软件的可靠性与隐私保护？

主要发现

• 识别出八类明确的错误类别：算法、数据、依赖、文档、性能、安全、语法和用户界面（UI）。
• 在数据挖掘项目中，与数据相关的错误最为频繁，表明数据收集与存储流程存在漏洞。
• 在用户追踪软件中，安全类错误尤为普遍，凸显用户数据隐私面临的风险，亟需自动化检测工具。
• 统计建模项目因错误假设（如 ICU 床位数错误或忽略相关性）而表现出算法与数据类错误。
• 性能与用户界面错误在多个项目类型中均有发现，可访问性与响应性问题影响了软件可用性。
• 研究发现，错误频率在不同项目类别间存在显著差异，其中数据挖掘项目中数据类错误更多，用户追踪项目中安全类错误更多。