[論文レビュー] GitHub Discussions: An Exploratory Study of Early Adoption

Hideaki Hata, Nicole Novielli+3 more|arXiv (Cornell University)|Feb 10, 2021

Software Engineering Research参考文献 23被引用数 12

ひとこと要約

本研究は、2020年1月から7月にかけてのクローズドベータ段階にかけて、92のオープンソースプロジェクトにおけるGitHub Discussionsの初期採用を混合手法で調査した。7,116件の議論の定量的分析、アンケート調査、感情分析を用いた結果、開発者はエラー報告、コードレビュー、コミュニティ参加の目的でDiscussionを活用しており、コアコントリビュータが参加を牽引している。この機能は価値があるとされるが、DiscussionとIssuesの間でトピックの重複が生じやすく、Stack Overflowの投稿よりも肯定的な感情が強い傾向にある。

ABSTRACT

Discussions is a new feature of GitHub for asking questions or discussing topics outside of specific Issues or Pull Requests. Before being available to all projects in December 2020, it had been tested on selected open source software projects. To understand how developers use this novel feature, how they perceive it, and how it impacts the development processes, we conducted a mixed-methods study based on early adopters of GitHub discussions from January until July 2020. We found that: (1) errors, unexpected behavior, and code reviews are prevalent discussion categories; (2) there is a positive relationship between project member involvement and discussion frequency; (3) developers consider GitHub Discussions useful but face the problem of topic duplication between Discussions and Issues; (4) Discussions play a crucial role in advancing the development of projects; and (5) positive sentiment in Discussions is more frequent than in Stack Overflow posts. Our findings are a first step towards data-informed guidance for using GitHub Discussions, opening up avenues for future work on this novel communication channel.

研究の動機と目的

• GitHub Discussionsの初期採用者たちが、既存のコミュニケーションチャネル（Issues や Stack Overflow など）と比較して、実際にはどのようにこの機能を使っているかを理解すること。
• 開発者たちがGitHub Discussionsの有用性をどのように感じているかを調査し、チャnelの混同やトピックの重複といった採用の障壁を特定すること。
• GitHub Discussionsがソフトウェア開発プロセスに与える影響を分析し、Issues や Pull Requests との相互作用を検討すること。
• GitHub DiscussionsとStack Overflowスレッドの感情表現と攻撃的表現のレベルを比較し、コミュニティの健全性を評価すること。
• プロジェクトマネージャーがGitHub Discussionsの効果的な使用を促進するためのデータに基づいた提言を提供すること。

提案手法

• 92のGitHubプロジェクトにおける7,116件のDiscussionの定量的分析、29,136件の投稿の感情分析、GitHub Discussionsを実際に使用した34名の開発者からの定性的なアンケート回答を統合した混合手法の研究を実施した。
• テーマ的分析を用いて議論のトピックを分類し、エラー、コードレビュー、将来の計画といった繰り返し現れるテーマを特定した。
• 教師あり感情分析を適用し、GitHub DiscussionsとStack Overflowの投稿における感情のトーンを比較し、ポジティブ/ネガティブの極性と攻撃的表現の度合いを測定した。
• 相関および回帰モデルを用いて、プロジェクトメンバーの関与度と議論頻度の関係を分析した。
• 議論の相互作用がGitHub Issues や Pull Requests とどのように関連しているかをマッピングし、開発ワークフローにおける役割を評価した。
• 開発者アンケートの回答を収集・分析し、有用性の認識、チャnelの好み、DiscussionとIssuesの間の重複の認識を評価した。

実験結果

リサーチクエスチョン

• RQ1 開発者は、既存のコミュニケーションチャネル（Issues や Stack Overflow など）と比較して、GitHub Discussionsをどのように使用しているか？
• RQ2 GitHub Discussionsにおける主なトピックと議論のカテゴリーは何か？ それらはソフトウェア開発のタスクとどのように関連しているか？
• RQ3 GitHub Discussionsにおける感情表現や感情のトーンは、Stack Overflowスレッドと比較してどう異なるか？
• RQ4 コア開発者の関与度とプロジェクト内での議論頻度の間にどのような関係があるか？
• RQ5 開発者はGitHub Discussionsの有用性をどのように認識しており、採用にあたってどのような課題に直面しているか？

主な発見

• 最も一般的な議論のカテゴリーはエラー、予期しない動作、コードレビューであり、これはDiscussionがバグ報告と共同コードレビューの両方の目的で使われていることを示している。
• プロジェクトメンバーの関与度と議論頻度の間に統計的に有意な正の相関関係が確認され、活発なコントリビュータがコミュニティ参加を牽引していることが示唆された。
• 開発者たちはGitHub Discussionsをコミュニティ形成や知識共有のための有用なツールと認識しているが、DiscussionとIssuesの間でトピックの重複があることに懸念を示しており、これによりコミュニケーションの断片化が生じる可能性がある。
• Discussionは、アイデアの交換、機能計画、新規参加者のオンボーディングを促進するなど、プロジェクト開発を前進させる重要な役割を果たしており、公式なIssues や Pull Requests の補完として機能している。
• GitHub Discussionでは、Stack Overflowの投稿よりも肯定的な感情がより頻繁に見られ、より協働的で攻撃的でないコミュニティ環境であると示唆された。
• チャネルの混同を軽減し、Issues、Pull Requests、Discussionの間でのコミュニケーションの整理を改善するため、プロジェクトごとのガイドラインの整備が求められていることが明らかになった。