[논문 리뷰] Developers' Perception of GitHub Actions: A Survey Analysis

Sk Golam Saroar, Maleknaz Nayebi|arXiv (Cornell University)|2023. 03. 07.

Scientific Computing and Data ManagementDecision Sciences인용 수 3

한 줄 요약

이 연구는 90명의 개발자 및 사용자 대상 설문 조사로 GitHub Actions에 대한 개발자 인식을 조사하여, Actions 사용, 개발, 디버깅 시 핵심 동기, 과제, 최선의 실천 방안을 밝혀냈다. 연구 결과, 개발자들은 검증된 제작자와 높은 스타 수를 우선시하며, YAML 설정에서 상당한 어려움을 겪고 있으며, 복잡성과 보안 우려로 인해 자동화의 이점이 있음에도 불구하고 Actions를 피하는 경향이 있음을 확인했다.

ABSTRACT

GitHub introduced "Actions" in 2019 to increase workflow velocity and add customized automation to the repositories. Any individual can develop Actions for automating workflow on GitHub repositories and others can reuse them whenever open source. GitHub introduced its marketplace for commercializing and sharing these automation tools, which currently hosts 16,730 Actions. Yet, there are numerous Actions that are developed and distributed in local repositories and outside the Marketplace. So far, the research community conducted mining studies to understand Actions with a significant focus on CI/CD. We conducted a survey study with 90 Action developers and users to understand the motivations and best practices in using, developing, and debugging Actions, and the challenges associated with these tasks. We found that developers prefer Actions with verified creators and more stars when choosing between similar Actions, and often switch to an alternative Action when facing bugs or a lack of documentation. 60.87% of the developers consider the composition of YAML files, which are essential for Action integration, challenging and error-prone. They mainly check Q\&A forums to fix issues with these YAML files. Finally, developers tend to avoid using Actions (and hence automation) to reduce complexity, and security risk, or when the benefits of Actions are not worth the cost/effort of setting up Actions for automation.

연구 동기 및 목표

• 개발자들이 GitHub Actions를 사용하고, 개발하며, 디버깅하는 데 동기를 부여하는 요인을 이해하는 것.
• 개발자들이 워크플로우에 Actions를 통합하고 유지보수할 때 겪는 과제를 특정하는 것.
• 신뢰성과 안정성 측면에서 Actions를 선택할 때 개발자들이 사용하는 기준을 탐색하는 것.
• 자동화 잠재력이 있음에도 불구하고 Actions를 피하는 이유를 조사하는 것.

제안 방법

• GitHub Actions의 제작자이자 소비자인 90명의 개발자 및 사용자 대상 설문 조사를 실시하였다.
• 설문 조사에서는 Actions 선택 시 선호도, 과제, 디버깅 방식, 결정 기준에 관한 데이터를 수집하였다.
• 정량적 및 정성적 응답을 분석하여 개발자 행동 및 인식 패턴을 파악하였다.
• 특히 YAML 설정의 어려움, 신뢰 지표(예: 스타 수, 검증 여부) 및 회피 행동에 초점을 맞추었다.

실험 결과

연구 질문

• RQ1 개발자들이 한 GitHub Action을 다른 것보다 선택할 때의 동기는 무엇이며, 어떤 신뢰 지표를 우선시하는가?
• RQ2 개발자들이 GitHub Actions를 사용하거나 개발하거나 디버깅할 때 겪는 주요 과제는 무엇인가?
• RQ3 개발자들은 Actions의 YAML 설정 관련 문제를 어떻게 해결하는가?
• RQ4 자동화의 이점이 있음에도 불구하고 개발자들이 때로는 GitHub Actions를 피하는 이유는 무엇인가?

주요 결과

• 60.87%의 개발자들이 Actions의 YAML 파일 구성에 어려움을 느끼며, 오류 발생 가능성이 높아 외부 도움이 필요한 경우가 많다.
• 유사한 옵션들 사이에서 선택할 때 개발자들은 검증된 제작자와 높은 스타 수를 선호함으로써 사회적 신뢰 신호와 검증 여부에 신뢰를 두고 있음을 보여준다.
• 버그 발생 또는 문서 부족 상황에서 60.87%의 개발자들이 다른 Actions로 전환함으로써 신뢰성과 명확성의 중요성을 확인할 수 있다.
• 많은 수의 개발자들이 인지된 복잡성, 보안 리스크, 또는 이점 대비 높은 설정 비용으로 인해 전체적으로 Actions 사용을 피하고 있다.