[논문 리뷰] An Exploratory Characterization of Bugs in COVID-19 Software Projects

Akond Rahman, Effat Farhana|arXiv (Cornell University)|2020. 05. 31.

Advanced Malware Detection Techniques참고 문헌 2인용 수 11

한 줄 요약

이 연구는 GitHub에서 129개의 오픈소스 코로나19 소프트웨어 프로젝트를 분석하여 550개의 버그 보고서에 대한 정성적 분석을 통해 버그를 식별하고 분류한다. 여덟 가지 버그 유형—데이터, 알고리즘, 종속성, 문서, 성능, 보안, 문법, UI—을 규명하였으며, 데이터 마이닝 프로젝트에서 데이터 버그가 가장 빈도가 높았고, 이는 통계 모델링 및 개인정보 보호 소프트웨어 개발 향상에 영향을 미친다.

ABSTRACT

Context: The dire consequences of the COVID-19 pandemic has influenced development of COVID-19 software i.e., software used for analysis and mitigation of COVID-19. Bugs in COVID-19 software can be consequential, as COVID-19 software projects can impact public health policy and user data privacy. Objective: The goal of this paper is to help practitioners and researchers improve the quality of COVID-19 software through an empirical study of open source software projects related to COVID-19. Methodology: We use 129 open source COVID-19 software projects hosted on GitHub to conduct our empirical study. Next, we apply qualitative analysis on 550 bug reports from the collected projects to identify bug categories. Findings: We identify 8 bug categories, which include data bugs i.e., bugs that occur during mining and storage of COVID-19 data. The identified bug categories appear for 7 categories of software projects including (i) projects that use statistical modeling to perform predictions related to COVID-19, and (ii) medical equipment software that are used to design and implement medical equipment, such as ventilators. Conclusion: Based on our findings, we advocate for robust statistical model construction through better synergies between data science practitioners and public health experts. Existence of security bugs in user tracking software necessitates development of tools that will detect data privacy violations and security weaknesses.

연구 동기 및 목표

• 공중보건 및 정책에 고위험 영향을 미치는 만큼, 오픈소스 코로나19 소프트웨어 프로젝트에서 소프트웨어 버그의 성격과 분포를 이해하기 위해.
• 특히 통계 모델링 및 데이터 처리를 포함한 프로젝트에서 반복적으로 나타나는 버그 유형을 식별하기 위해.
• 대응 기간 소프트웨어에 특화된 버그 분류 체계를 제공하여 전문가 및 연구자가 소프트웨어 품질 향상에 기여하기 위해.
• 통계 모델링 오류를 줄이기 위해 데이터 과학자와 공중보건 전문가 간의 협업을 강화하기 위해.

제안 방법

• GitHub에서 'covid-19' 키워드를 사용하여 129개의 오픈소스 코로나19 소프트웨어 프로젝트를 수집하고, 활동 중인 개발을 필터링하였다.
• 반복적인 평가자 공감을 통해 550개의 버그 보고서에 대한 개방형 및 폐쇄형 코딩을 수행하여 버그 유형을 식별하고 분류하였다.
• 반복적인 패턴을 기반으로 한 정성적 분석 기법을 사용하여 여덟 가지 명확한 버그 유형을 도출하였다.
• 프로젝트 유형(예: 통계 모델링, 사용자 추적, 의료 기기)에 따라 버그 유형을 매핑하여 빈도와 분포를 분석하였다.
• 제3자 평가자를 통해 결과를 검증하여 저자 편향을 줄이고 분류의 신뢰성을 향상시켰다.
• 기존 도구(예: 정적 분석기, 보안 스캐너, UI 테스팅 도구)를 활용하여 각 버그 유형에 대한 실용적인 완화 전략을 제안하였다.

실험 결과

연구 질문

• RQ1 오픈소스 코로나19 소프트웨어 프로젝트에서 가장 빈번하게 발견되는 버그 유형은 무엇인가?
• RQ2 통계 모델링, 사용자 추적, 의료 기기 등 다양한 유형의 코로나19 소프트웨어 프로젝트 간에 버그 유형은 어떻게 다를까?
• RQ3 특히 데이터 및 보안 버그와 같은 특정 버그 유형은 공중보건 결과와 소프트웨어 품질에 어떤 영향을 미치는가?
• RQ4 전문가 및 연구자가 버그 분류를 어떻게 활용하여 대응 기간 소프트웨어의 신뢰성과 개인정보 보호 수준을 향상시킬 수 있는가?

주요 결과

• 알고리즘, 데이터, 종속성, 문서, 성능, 보안, 문법, UI의 여덟 가지 명확한 버그 유형이 규명되었다.
• 데이터 마이닝 프로젝트에서 데이터 관련 버그가 가장 빈번하게 발견되어, 데이터 수집 및 저장 과정의 취약성을 드러냈다.
• 사용자 추적 소프트웨어에서 보안 버그가 빈번하게 나타나, 사용자 데이터 프라이버시 위험과 자동 탐지 도구의 필요성을 강조한다.
• 통계 모델링 프로젝트는 잘못된 가정(예: 잘못된 ICU 침대 수 계산, 간과된 상관관계 등)으로 인해 알고리즘 및 데이터 버그를 보였다.
• 성능 및 UI 버그는 여러 프로젝트 유형에서 관찰되었으며, 접근성 및 반응성 문제로 인해 사용성이 저하되었다.
• 연구 결과, 버그 빈도는 프로젝트 유형에 따라 크게 달라졌으며, 마이닝 프로젝트는 데이터 버그가 더 많고, 사용자 추적 프로젝트는 보안 버그가 더 많았다.