[論文レビュー] Human-Agent versus Human Pull Requests: A Testing-Focused Characterization and Comparison

Roberto Milanese, Francesco Salzano+5 more|arXiv (Cornell University)|Jan 29, 2026

Software Engineering Techniques and Practices被引用数 0

ひとこと要約

研究は6,582件の人間-エージェント PR (HAPR) と3,122件の人間 PR (HPR) をテスト頻度、文脈、テスト品質の観点で比較し、テスト含有率は類似、ただしテスト規模はHAPRで大きく、品質の有意差はないと結論付けます。

ABSTRACT

AI-based coding agents are increasingly integrated into software development workflows, collaborating with developers to create pull requests (PRs). Despite their growing adoption, the role of human-agent collaboration in software testing remains poorly understood. This paper presents an empirical study of 6,582 human-agent PRs (HAPRs) and 3,122 human PRs (HPRs) from the AIDev dataset. We compare HAPRs and HPRs along three dimensions: (i) testing frequency and extent, (ii) types of testing-related changes (code-and-test co-evolution vs. test-focused), and (iii) testing quality, measured by test smells. Our findings reveal that, although the likelihood of including tests is comparable (42.9% for HAPRs vs. 40.0% for HPRs), HAPRs exhibit a larger extent of testing, nearly doubling the test-to-source line ratio found in HPRs. While test-focused task distributions are comparable, HAPRs are more likely to add new tests during co-evolution (OR=1.79), whereas HPRs prioritize modifying existing tests. Finally, although some test smell categories differ statistically, negligible effect sizes suggest no meaningful differences in quality. These insights provide the first characterization of how human-agent collaboration shapes testing practices.

研究の動機と目的

• AIベースのコーディングエージェントがPRのテスト実践に与える影響を理解する動機付け。
• HAPRとHPRでのテスト頻度と規模を定量化する。
• テスト貢献の開発文脈（共進化 vs. テスト中心）を検討する。
• 保守性への影響を評価するため、テスト匂いを通じてテスト品質を評価する。

提案手法

• AIDevデータセット（バージョン3）を用いて、4言語（Java、JavaScript、Python、TypeScript）で6,582件のHAPRと3,122件のHPRを比較する。
• 人手分析と検証に基づく言語特異的ヒューリスティクスを用いて、テストファイルとソースファイルを特定する（精度0.988、再現率0.982、F1 0.985）。
• PR、ファイル、行レベルでのテストを、Count、Ratio、TF、TLoC、関連する比率などの指標で測定する。
• テスト文脈を共進化(COC)とテスト中心(TFC)に分類し、テストタスクをAdd、Mod、Delに分類する。
• AromaDrを用いてテスト匂いを検出し、PR前後の匂いデルタを算出し、非パラメトリック検定で有意性を分析する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: HAPRとHPRはテスト貢献の頻度と規模に差があるか。
• RQ2 RQ2: 開発文脈（共進化 vs. テスト中心）およびタスクタイプにおいて、HAPRとHPRのテスト貢献はどう異なるか。
• RQ3 RQ3: テスト品質（テスト匂い）はHAPRとHPRでどうか。

主な発見

• HAPRはHPRよりもテストを含む割合がやや高い（42.9%対40.0%）、統計的有意だが効果量は小さい（OR ≈ 1.13）。
• テストがある場合、HAPRはテスト関連ファイルと行の追加が多い（ファイル比率と行比率が高く、小〜中程度の効果サイズで有意）。
• 共進化文脈では、HAPRは新しいテストを追加する傾向が強い（68.4%対54.8%、OR=1.79）。HPRは既存のテストを変更（43.5%対20.6%）または削除（4.8%対0.9%）することが多い。
• テスト匂いの分布はグループ間で類似。いくつかのカテゴリで統計的差があるものの効果量はごく小さく、人間-エージェント協働による品質の実質的差はない。