[論文レビュー] GitHub Copilot AI pair programmer: Asset or Liability?

Arghavan Moradi Dakhel, Vahid Majdinasab+5 more|arXiv (Cornell University)|Jun 30, 2022

Software Engineering Research被引用数 40

ひとこと要約

この論文は、AIペアプログラマーとしてのGitHub Copilotを実証的に評価し、基本的なアルゴリズム問題を解く能力をテストし、Python課題における人間プログラマの解と比較する。

ABSTRACT

Automatic program synthesis is a long-lasting dream in software engineering. Recently, a promising Deep Learning (DL) based solution, called Copilot, has been proposed by OpenAI and Microsoft as an industrial product. Although some studies evaluate the correctness of Copilot solutions and report its issues, more empirical evaluations are necessary to understand how developers can benefit from it effectively. In this paper, we study the capabilities of Copilot in two different programming tasks: (i) generating (and reproducing) correct and efficient solutions for fundamental algorithmic problems, and (ii) comparing Copilot's proposed solutions with those of human programmers on a set of programming tasks. For the former, we assess the performance and functionality of Copilot in solving selected fundamental problems in computer science, like sorting and implementing data structures. In the latter, a dataset of programming problems with human-provided solutions is used. The results show that Copilot is capable of providing solutions for almost all fundamental algorithmic problems, however, some solutions are buggy and non-reproducible. Moreover, Copilot has some difficulties in combining multiple methods to generate a solution. Comparing Copilot to humans, our results show that the correct ratio of humans' solutions is greater than Copilot's suggestions, while the buggy solutions generated by Copilot require less effort to be repaired.

研究の動機と目的

• Copilotが基本的なアルゴリズム問題に対して正しく効率的な解を生成できるかを評価する。
• Copilotが生成した解を、Pythonプログラミング課題のデータセット上で人間の解と比較する。
• 正確性、効率、再現性、Copilot出力の類似性などの指標を評価する。

提案手法

• 標準的なアルゴリズム設計書からのプロンプトを用いて、ソート、データ構造、グラフ、貪欲アルゴリズムを含む基本的なアルゴリズム問題でCopilotをテストする。
• 日を30日空けた2回の試行で、各プロンプトに対して複数のCopilot応答を評価し、一貫性を測る。
• 正確性を手動で ground-truthアルゴリズムと単体テストと比較して評価し、アルゴリズム的忠実性を確認する。
• 少なくとも1つの正しい解が最適アルゴリズムを使用しているかを確認してコードの最適性を測定する。
• Attemptおよび試行間のASTベースの類似性を用いてコードの再現性と類似性を評価する。
• コースのPythonプログラミング課題データセットを用いてCopilotの性能を人間の解と比較する。正解とバグのある提出物、修復ツールを含む。

実験結果

リサーチクエスチョン

• RQ1 RQ1: Copilotは基本的なアルゴリズム問題に対して正しく効率的な解を提案できるか？
• RQ2 RQ2: Copilotの解はプログラミング問題の解決において人間の解と競争力があるか？

主な発見

• Copilotは大部分の基本的な問題に対して解を生成できるが、いくつかの解はバグがあり再現性がない。
• Copilotは複数の方法を結合して完全な解を形成するのが難しい。
• 人間と比べて、Copilotの正解解の割合は低く、解の多様性も少ない。
• バグのあるCopilot解は修正が比較的容易だが、初心者にはフィルタリングが難しい場合がある。
• 専門家の開発者が使用すれば、Copilotは資産のように機能し、解の品質は人間と同等程度になり得る；初心者が使用すれば、バグや非最適なコードのために責任となる可能性がある。