[論文レビュー] Developers' Perception of GitHub Actions: A Survey Analysis

Sk Golam Saroar, Maleknaz Nayebi|arXiv (Cornell University)|Mar 7, 2023

Scientific Computing and Data ManagementDecision Sciences被引用数 3

ひとこと要約

本研究は、90名の開発者およびGitHub Actionsのユーザーを対象としたアンケートを通じて、開発者がActionsをどのように使い、開発し、デバッグするかの認識を調査した。主な動機、課題、およびベストプラクティスが明らかになった。開発者は、検証済みの作成者と高いスター評価を重視するが、YAML設定で著しく困難を抱え、自動化の利点があるにもかかわらず、複雑さとセキュリティ上の懸念からActionsを避ける傾向にあることが判明した。

ABSTRACT

GitHub introduced "Actions" in 2019 to increase workflow velocity and add customized automation to the repositories. Any individual can develop Actions for automating workflow on GitHub repositories and others can reuse them whenever open source. GitHub introduced its marketplace for commercializing and sharing these automation tools, which currently hosts 16,730 Actions. Yet, there are numerous Actions that are developed and distributed in local repositories and outside the Marketplace. So far, the research community conducted mining studies to understand Actions with a significant focus on CI/CD. We conducted a survey study with 90 Action developers and users to understand the motivations and best practices in using, developing, and debugging Actions, and the challenges associated with these tasks. We found that developers prefer Actions with verified creators and more stars when choosing between similar Actions, and often switch to an alternative Action when facing bugs or a lack of documentation. 60.87% of the developers consider the composition of YAML files, which are essential for Action integration, challenging and error-prone. They mainly check Q\&A forums to fix issues with these YAML files. Finally, developers tend to avoid using Actions (and hence automation) to reduce complexity, and security risk, or when the benefits of Actions are not worth the cost/effort of setting up Actions for automation.

研究の動機と目的

• 開発者がGitHub Actionsを、開発およびデバッグする動機を理解すること。
• 開発者がワークフローにActionsを統合・維持する際に直面する課題を特定すること。
• 信頼性や信頼性に関する基準を含め、開発者がActionsを選択する際に用いる基準を調査すること。
• 自動化の潜在能力があるにもかかわらず、なぜ開発者がActionsを避けるのかを検討すること。

提案手法

• GitHub Actionsの開発者およびユーザー90名を対象にアンケートを実施した。この中には、Actionsの作成者および利用者も含まれる。
• アンケートでは、好み、課題、デバッグの実践、Actions選定の意思決定基準に関するデータを収集した。
• 定量的および定性的な回答を分析し、開発者の行動および認識のパターンを特定した。
• YAML設定の困難さ、信頼の指標（例：スター数、検証済み）および回避行動に特に注目した。

実験結果

リサーチクエスチョン

• RQ1 開発者が1つのGitHub Actionsを選択する動機は何か。また、信頼の指標としてどの要因を重視するのか。
• RQ2 開発者がActionsの使用、開発、デバッグにおいて直面する主な課題は何か。
• RQ3 開発者がActionsのYAML設定に関する問題をどのように解決するのか。
• RQ4 自動化の利点があるにもかかわらず、なぜ開発者がGitHub Actionsを避けることがあるのか。

主な発見

• 60.87%の開発者が、ActionsのYAMLファイルの構成が困難でエラーを起こしやすく、多くの場合、外部の支援が必要であると感じている。
• 類似した選択肢がある場合、開発者は検証済みの作成者および高いスター数のActionsを好む。これは、社会的要因および検証信号に対する信頼を示している。
• バグやドキュメンテーションの不足に直面した場合、60.87%の開発者が代替のActionsに切り替える。これは、信頼性と明確さの重要性を強調している。
• 多くの開発者が、複雑さ、セキュリティリスク、または利益に対する設定コストの高さを理由に、Actionsそのものを使用を避ける。