[논문 리뷰] What makes a good Node.js package? Investigating Users, Contributors, and Runnability

Bodin Chinthanet, Brittany Reid외 5명|arXiv (Cornell University)|2021. 06. 23.

Software Engineering Research참고 문헌 62인용 수 4

한 줄 요약

이 연구는 개발자 사용자 및 기여자 관점에서 양호한 Node.js 패키지의 특성을 분석하여 양호한 패키지의 특징을 규명한다. 33名의 개발자에 대한 설문 조사와 104,364개의 npm 패키지 분석을 통해 공통적이고 차별화된 품질 지표를 도출하였으며, 실행 가능성(특히 실행 가능한 코드 스니펫과 테스트 성공 여부)이 패키지 품질과 강하게 상관되며 파일 수와 커밋 기록과 같은 특징을 통해 예측 가능하다는 점을 밝혀냈다.

ABSTRACT

The Node.js Package Manager (i.e., npm) archive repository serves as a critical part of the JavaScript community and helps support one of the largest developer ecosystems in the world. However, as a developer, selecting an appropriate npm package to use or contribute to can be difficult. To understand what features users and contributors consider important when searching for a good npm package, we conduct a survey asking Node.js developers to evaluate the importance of 30 features derived from existing work, including GitHub activity, software usability, and properties of the repository and documentation. We identify that both user and contributor perspectives share similar views on which features they use to assess package quality. We then extract the 30 features from 104,364 npm packages and analyse the correlations between them, including three software features that measure package ``runnability"; ability to install, build, and execute a unit test. We identify which features are negatively correlated with runnability-related features and find that predicting the runnability of packages is viable. Our study lays the groundwork for future work on understanding how users and contributors select appropriate npm packages.

연구 동기 및 목표

• 개발자가 npm 패키지를 선택하거나 기여할 때 사용하는 기준을 이해하는 것.
• 사용자와 기여자 간의 패키지 품질 기준에 대한 시각의 차이 또는 일치를 비교하는 것.
• 설치 가능성, 빌드 가능성, 코드 스니펫 실행 성공 여부를 통해 npm 패키지의 실행 가능성 수준을 평가하는 것.
• 104,364개 패키지의 실증적 데이터를 바탕으로 패키지 실행 가능성 예측 특징을 규명하는 것.
• 사용자와 기여자 모두의 요구를 고려한 향후 패키지 추천 및 품질 지표 연구의 기초를 마련하는 것.

제안 방법

• 33명의 Node.js 개발자 대상 온라인 설문 조사를 실시하여 30개의 패키지 품질 특징의 중요도를 평가함.
• 특징을 문서화, 리포지토리, 소프트웨어(실행 가능성), GitHub 활동의 네 유형으로 분류함.
• GH-Node.js 데이터셋을 활용해 104,364개의 npm 패키지에서 데이터를 수집하고 실행 가능성 및 특징 간 상관관계를 분석함.
• 설치 성공, 빌드 성공, 코드 스니펫 실행 성공의 세 가지 메트릭을 통해 실행 가능성 수준을 평가함.
• 통계적 상관관계 분석을 통해 특징과 실행 가능성 간의 관계를 규명함.
• 특징 중요도를 기반으로 실행 가능성 예측 모델을 구축하였으며, 다양한 실행 가능성 메트릭에서 예측 성능의 차이를 확인함.

실험 결과

연구 질문

• RQ1 실무자들이 패키지 품질을 평가할 때 고려하는 npm 패키지 특징는 무엇인가요?
• RQ2 사용자와 기여자 간의 패키지 품질에 대한 인식은 어떻게 다를지 또는 일치하는가요?
• RQ3 패키지 특징과 실행 가능성(설치, 빌드, 실행) 간의 상관관계는 어떠한가요?
• RQ4 정적 및 활동 기반 특징을 사용해 npm 패키지의 실행 가능성을 예측할 수 있나요?
• RQ5 npm 패키지에서 성공적인 설치, 빌드, 테스트 실행을 예측하는 데 가장 유용한 특징는 무엇인가요?

주요 결과

• 사용자와 기여자 간에 패키지 품질에 대한 인식이 유사하며, 30개의 특징 중 50%가 양측 모두에게 관련성이 있음.
• 문서화 및 소프트웨어 실행 가능성 특징는 사용자 및 기여자 모두가 높은 중요도로 평가함.
• 파일 수와 커밋 기록 등의 리포지토리 특징는 개발자들이 품질 지표로 보지 않음.
• 104,364개의 패키지 중 92.95%는 성공적으로 설치되었으며, 61.59%는 README에 최소한 하나의 코드 스니펫을 포함했고, 전체 220,324개의 코드 스니펫 중 단 15.20%만 실행 가능함.
• 2020년에 업데이트된 11,127개 패키지 중 73.68%는 빌드되었고, 테스트 케이스를 모두 통과한 경우는 단 7.40%에 불과하여 테스트 실행 가능성 수준이 낮음을 시사함.
• 실행 가능성 예측은 가능하며, 파일 수와 커밋 기록은 설치 가능성과 강하게 상관되지만, 빌드 가능성과는 상관관계가 덜함.