[論文レビュー] Pull Request Decision Explained: An Empirical Overview

Xunhui Zhang, Yue Yu+2 more|arXiv (Cornell University)|May 28, 2021

Software Engineering Research参考文献 60被引用数 4

ひとこと要約

本研究は、11,230プロジェクトからの335万件のプルリクエスト（PR）を含む大規模なデータセットを用いて、GitHubにおけるプルリクエスト意思決定を実証的に解明した。最も重要な要因は、貢献者と統合者（integrator）が同一人物かどうかであり、意思決定のばらつきの30％以上を説明している。CIの使用状況や議論の感情的傾向といった文脈依存要因も影響を及ぼすことが判明した。

ABSTRACT

Context: Pull-based development model is widely used in open source, leading the trends in distributed software development. One aspect which has garnered significant attention is studies on pull request decision - identifying factors for explanation. Objective: This study builds on a decade long research on pull request decision to explain it. We empirically investigate how factors influence pull request decision and scenarios that change the influence of factors. Method: We identify factors influencing pull request decision on GitHub through a systematic literature review and infer it by mining archival data. We collect a total of 3,347,937 pull requests with 95 features from 11,230 diverse projects on GitHub. Using this data, we explore the relations of the factors to each other and build mixed-effect logistic regression models to empirically explain pull request decision. Results: Our study shows that a small number of factors explain pull request decision with the integrator same or different from the submitter as the most important factor. We also noted that some factors are important only in special cases e.g., the percentage of failed builds is important for pull request decision when continuous integration is used.

研究の動機と目的

• オープンソースソフトウェア開発におけるプルリクエスト意思決定に影響を与える要因に関する既存知識を統合すること。
• GitHubからの実証的データを用いて、PR意思決定に最も影響を与える要因を特定・定量すること。
• CIの使用状況やコメントの有無といった異なる開発文脈において、要因の重要性がどのように変化するかを調査すること。
• 今後のソフトウェア工学研究のための包括的かつ多様なデータセット（11,230プロジェクト、95の特徴量）を提供すること。
• 高い実証的妥当性を持つ混合効果ロジスティック回帰モデルを構築し、PRの承認または却認を説明すること。

提案手法

• PR意思決定に影響を与える要因を特定するため、系統的文献レビュー（SLR）を実施し、既存研究から95の要因を同定した。
• GitHubの11,230プロジェクトからアーサイブデータを収集・処理し、PRメタデータ、貢献者の行動履歴、CIの結果、議論の特徴を含めた。
• 同定された要因を表す95の指標を抽出するためのデータ前処理を実施し、多様なプロジェクトやプログラミング言語にわたって一貫性を確保した。
• 混合効果ロジスティック回帰モデルを適用し、各要因がPR意思決定（承認／却認）に与える影響を分析した。プロジェクトレベルのランダム効果を考慮した。
• サブグループ分析を実施し、特定の文脈（例：CIが有効なPR、コメント付きPR）における要因の重要性の変化を評価した。
• 探索的データ分析およびモデル診断を通じて妥当性と一般化可能性を検証した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: さまざまな要因は、プルリクエスト意思決定の結果にどのように影響を与えるか？
• RQ2 RQ2: これらの要因の影響は、文脈的条件（例：CIの使用状況、コメント活動）によって変化するか？

主な発見

• 貢献者と統合者が同一ユーザーであるという要因が最も影響力が強く、PR意思決定結果のばらつきの30％以上を説明している。
• 継続的インテグレーション（CI）が使用されている状況では、失敗したCIビルドの割合がPR却認の有意な予測要因となる。
• PR議論における肯定的な感情的傾向は、特にコメントが存在する場合に承認の可能性を高める。
• CIツールの使用は、意思決定におけるコメントの相対的重みを低下させている。これは、CIが一部の状況でペアレビューの代替手段として機能することを示唆している。
• PR意思決定モデルにおける説明力の大部分を占めるのは、わずか5〜10の要因に限られる。これは要因の高い効率性を示している。
• 本研究では、従来の研究に欠けていたが極めて重要な要因である「貢献者と統合者の同一性」を新たに同定した。