[논문 리뷰] Is AI the better programming partner? Human-Human Pair Programming vs. Human-AI pAIr Programming

Qianou, Tongshuang Wu외 1명|arXiv (Cornell University)|2023. 06. 08.

Software Engineering Techniques and Practices인용 수 11

한 줄 요약

본 논문은 인간-대-인간 페어 프로그래밍과 인간-대-AI pAIr 프로그래밍을 비교하고, 맥락, 척도, 조정 변수, 향후 연구 방향을 검토하며, pAIr 연구에서 혼합된 결과와 측정의 공백을 강조한다.

ABSTRACT

The emergence of large-language models (LLMs) that excel at code generation and commercial products such as GitHub's Copilot has sparked interest in human-AI pair programming (referred to as "pAIr programming") where an AI system collaborates with a human programmer. While traditional pair programming between humans has been extensively studied, it remains uncertain whether its findings can be applied to human-AI pair programming. We compare human-human and human-AI pair programming, exploring their similarities and differences in interaction, measures, benefits, and challenges. We find that the effectiveness of both approaches is mixed in the literature (though the measures used for pAIr programming are not as comprehensive). We summarize moderating factors on the success of human-human pair programming, which provides opportunities for pAIr programming research. For example, mismatched expertise makes pair programming less productive, therefore well-designed AI programming assistants may adapt to differences in expertise levels.

연구 동기 및 목표

• 상호작용, 척도, 이점, 도전 과제 측면에서 인간-대-인간 페어 프로그래밍과 인간-대-AI pAIr 프로그래밍이 어떻게 다른지 평가한다.
• 인간-대-인간 페어 프로그래밍의 성공에 영향을 미치는 조정 변수(모더레이터)를 식별하고 이를 pAIr 프로그래밍에의 관련성을 탐색한다.
• 두 가지 패러다임에서 품질, 생산성, 만족도, 학습, 비용에 대한 현재의 증거를 요약한다.
• AI 프로그래밍 어시스턴트를 파트너로서 개선하기 위한 설계 시사점과 기회를 논의한다.

제안 방법

• 인간-대-인간 페어 프로그래밍과 인간-대-AI pAIr 프로그래밍에 관한 기존 문헌을 검토하고 종합한다.
• 패러다임 간의 결과 변수(품질, 생산성, 만족도, 학습, 비용)를 비교한다.
• 인간-대-인간 연구에서 모더레이터(과제 유형, 호환성, 의사소통, 협업, 물류)를 식별하고 이를 pAIr 맥락에 매핑한다.
• AI를 페어 프로그래머로서의 이론적 및 실용적 시사점과 향후 연구 방향을 논의한다.

실험 결과

연구 질문

• RQ1 상호작용 및 결과 측면에서 인간-대-인간과 인간-대-AI 페어 프로그래밍 사이에 어떤 유사점과 차이가 있는가?
• RQ2 인간-대-인간 페어 프로그래밍에 영향을 아는 모더레이터 중 어떤 것이 인간-대-AI pAIr 프로그래밍의 설계 및 평가에 정보를 줄 수 있는가?
• RQ3 pAIr 프로그래밍 측정의 현재 한계는 무엇이며 어떻게 확장할 수 있는가?
• RQ4 다양한 전문성 수준과 의사소통 스타일에 적응하도록 AI 프로그래밍 어시스턴트를 어떻게 설계할 수 있는가?
• RQ5 인간-대-AI pAIr 프로그래밍에 가장 적합한 배치 맥락(산업 vs. 교육)은 무엇인가?

주요 결과

• 인간-대-인간과 인간-대-AI 페어 프로그래밍 모두 품질, 생산성, 만족도, 학습, 비용에서 혼합된 결과를 보여준다.
• pAIr 프로그래밍은 현재 인간-대-인간 페어 프로그래밍에 비해 포괄적이고 검증된 측정 프레임워크가 부족하다.
• 과제 복잡성, 호환성, 의사소통, 협업, 물류와 같은 모더레이터가 인간-대-인간 페어 프로그래밍에 영향을 미치며 pAIr 개선의 기회를 제공한다.
• AI 파트너는 다양한 전문성 수준과 의사소통 스타일에 적응하도록 설계되어 효과를 향상시킬 수 있다.
• 향후 연구 설계로 인간-인간, 인간-AI, 인간-독립의 삼자 비교가 가치 있는 설계로 제안된다.
• AI 보조 코딩이 진정한 페어 프로그래밍으로 간주되어야 하는지 아니면 새로운 프로그래밍 패러다임인지를 둘러싼 논쟁이 계속되고 있다.