[論文レビュー] Is AI the better programming partner? Human-Human Pair Programming vs. Human-AI pAIr Programming

Qianou, Tongshuang Wu+1 more|arXiv (Cornell University)|Jun 8, 2023

Software Engineering Techniques and Practices被引用数 11

ひとこと要約

本論文は人間同士のペアプログラミングと人間-AI pAIr プログラミングを比較し、文脈・指標・モデレーター・今後の研究動向を検討し、pAIr 研究における混合的な結果と測定のギャップを指摘する。

ABSTRACT

The emergence of large-language models (LLMs) that excel at code generation and commercial products such as GitHub's Copilot has sparked interest in human-AI pair programming (referred to as "pAIr programming") where an AI system collaborates with a human programmer. While traditional pair programming between humans has been extensively studied, it remains uncertain whether its findings can be applied to human-AI pair programming. We compare human-human and human-AI pair programming, exploring their similarities and differences in interaction, measures, benefits, and challenges. We find that the effectiveness of both approaches is mixed in the literature (though the measures used for pAIr programming are not as comprehensive). We summarize moderating factors on the success of human-human pair programming, which provides opportunities for pAIr programming research. For example, mismatched expertise makes pair programming less productive, therefore well-designed AI programming assistants may adapt to differences in expertise levels.

研究の動機と目的

• 人間同士のペアプログラミングと人間-AI pAIr プログラミングが、相互作用、測定指標、利点、課題の点でどのように異なるかを評価する。
• 人間同士のペアプログラミングの成功に影響を与えるモデレーターを特定し、それらがpAIrプログラミングにどのように関連するかを検討する。
• 両方のパラダイムにわたる品質、生産性、満足度、学習、コストに関する現在のエビデンスを要約する。
• パートナーとしてのAIプログラミング補助ツールを改善する設計上の示唆と機会について論じる。

提案手法

• 人間同士のペアプログラミングと人間-AI pAIr プログラミングに関する既存の文献をレビューし、統合する。
• パラダイム間のアウトカム指標（品質、生産性、満足度、学習、コスト）を比較する。
• 人間同士の研究からモデレーター（タスクタイプ、適合性、コミュニケーション、協働、ロジスティクス）を特定し、それをpAIr 文脈に対応づける。
• AIをペアプログラマーとして活用することの理論的・実践的含意と今後の研究方向について論じる。

実験結果

リサーチクエスチョン

• RQ1 相互作用とアウトカムの観点で、人間同士と人間-AI pAIr のペアプログラミングにはどのような類似点と差異があるか？
• RQ2 人間同士のペアプログラミングに影響を与えることが知られているモデレーターは、human-AI pAIr プログラミングの設計と評価にどのように役立つか？
• RQ3 pAIr プログラミングの測定の現在の限界は何で、それをどのように拡張できるか？
• RQ4 AIプログラミング補助ツールを、異なる専門知識レベルやコミュニケーションスタイルに適応するよう設計するにはどうすればよいか？
• RQ5 どの導入文脈（産業界 vs. 教育）が、人間-AI pAIr プログラミングに最も適しているか？

主な発見

• 人間同士と人間-AI pAIr のペアプログラミングはいずれも、品質、生産性、満足度、学習、コストの各面で混在した結果を示している。
• pAIr プログラミングは現在、人間同士のペアプログラミングと比べて、包括的で検証済みの測定枠組みを欠いている。
• タスクの複雑さ、適合性、コミュニケーション、協働、ロジスティクスといったモデレーターが人間同士のペアプログラミングに影響を及ぼし、pAIr の改善の機会を提供する。
• AI パートナーは、効果を高めるために異なる専門知識レベルやコミュニケーションスタイルに適応するよう設計できる。
• 今後の研究デザインとして、三者比較（human-human、human-AI、human-solo）が有益であると提案されている。
• AI支援コーディングが真のペアプログラミングとみなされるべきか、それとも新しいパラダイムとして扱われるべきかについて継続的な議論がある。