[论文解读] Developers' Perception of GitHub Actions: A Survey Analysis

Sk Golam Saroar, Maleknaz Nayebi|arXiv (Cornell University)|Mar 7, 2023

Scientific Computing and Data ManagementDecision Sciences被引用 3

一句话总结

本研究通过调查90名开发者和GitHub Actions用户，调查了开发者对GitHub Actions的感知，揭示了在使用、开发和调试Actions时的关键动机、挑战和最佳实践。研究发现，开发者优先考虑经过验证的创建者和较高的星标评分，严重困扰于YAML配置问题，尽管自动化优势明显，仍因复杂性和安全顾虑而经常避免使用Actions。

ABSTRACT

GitHub introduced "Actions" in 2019 to increase workflow velocity and add customized automation to the repositories. Any individual can develop Actions for automating workflow on GitHub repositories and others can reuse them whenever open source. GitHub introduced its marketplace for commercializing and sharing these automation tools, which currently hosts 16,730 Actions. Yet, there are numerous Actions that are developed and distributed in local repositories and outside the Marketplace. So far, the research community conducted mining studies to understand Actions with a significant focus on CI/CD. We conducted a survey study with 90 Action developers and users to understand the motivations and best practices in using, developing, and debugging Actions, and the challenges associated with these tasks. We found that developers prefer Actions with verified creators and more stars when choosing between similar Actions, and often switch to an alternative Action when facing bugs or a lack of documentation. 60.87% of the developers consider the composition of YAML files, which are essential for Action integration, challenging and error-prone. They mainly check Q\&A forums to fix issues with these YAML files. Finally, developers tend to avoid using Actions (and hence automation) to reduce complexity, and security risk, or when the benefits of Actions are not worth the cost/effort of setting up Actions for automation.

研究动机与目标

• 理解开发者使用、开发和调试GitHub Actions的动机。
• 识别开发者在将Actions集成和维护到工作流中时面临的挑战。
• 探讨开发者在选择Actions时所依据的标准，特别是信任和可靠性方面的考量。
• 研究尽管具有自动化潜力，开发者为何有时会避免使用Actions。

提出的方法

• 对90名GitHub Actions的开发者和用户（包括创建者和使用者）进行了调查。
• 调查收集了关于偏好、挑战、调试实践以及选择Actions时的决策标准的数据。
• 对定量和定性回答进行分析，以识别开发者行为和感知中的模式。
• 重点研究YAML配置困难、信任指标（例如星标、验证）以及避免行为。

实验结果

研究问题

• RQ1 开发者在选择一个GitHub Actions而非另一个时的动机是什么？他们优先考虑哪些信任指标？
• RQ2 开发者在使用、开发或调试GitHub Actions时面临的主要挑战是什么？
• RQ3 开发者如何解决与Actions中YAML配置相关的问题？
• RQ4 尽管具有自动化优势，为何开发者有时会避免使用GitHub Actions？

主要发现

• 60.87%的开发者认为配置Actions的YAML文件具有挑战性且容易出错，通常需要外部帮助才能解决。
• 当在相似选项间选择时，开发者更倾向于选择经过验证的创建者和星标数量更高的Actions，表明其对社交信号和验证状态的信任。
• 当遇到错误或文档不充分时，60.87%的开发者会转而使用其他Actions，凸显了可靠性与清晰度的重要性。
• 大量开发者因感知到复杂性、安全风险或设置成本过高而完全避免使用Actions。