[論文レビュー] Exploring the Verifiability of Code Generated by GitHub Copilot

Dakota Wong, Austin Kothig+1 more|arXiv (Cornell University)|Sep 5, 2022

Software Engineering Research被引用数 4

ひとこと要約

本研究では、手作業で作成した仕様に基づいてDafnyを用いて形式的検証することで、GitHub Copilotが生成するコードの検証可能性を評価した。6つの実装のうち4つが正常に検証に成功した。これは、Copilotが使用可能なコードを生成するが、熟練した検証が必要であり、厳密な検証なしには信頼できないことを示している。

ABSTRACT

GitHub's Copilot generates code quickly. We investigate whether it generates good code. Our approach is to identify a set of problems, ask Copilot to generate solutions, and attempt to formally verify these solutions with Dafny. Our formal verification is with respect to hand-crafted specifications. We have carried out this process on 6 problems and succeeded in formally verifying 4 of the created solutions. We found evidence which corroborates the current consensus in the literature: Copilot is a powerful tool; however, it should not be "flying the plane" by itself.

研究の動機と目的

• 自動検証ツールを用いて、GitHub Copilotが生成するコードの形式的検証可能性を評価すること。
• 形式的仕様と証明を通じて、Copilotが生成するコードが正しさの要件を満たしているかどうかを特定すること。
• 検証なしにCopilotが生成したコードを本番システムに統合する実用性を評価すること。
• 再帰的または複雑なアルゴリズムにおいて、開発者がAI生成コードを検証する際に直面する課題を調査すること。
• Copilotが正しくかつ形式的検証に適したコードを生成する能力に、どのような制限があるかを理解すること。

提案手法

• LeetCodeから、二分探索やmax-heapifyを含む6つのアルゴリズム的問題をテストケースとして選定した。
• 自然言語のプロンプトに基づいて、GitHub Copilotを用いてPython実装を生成した。
• 各アルゴリズムの意図された動作を記述するため、Dafnyに手作業で形式的仕様を記述した。
• Dafnyの検証フレームワークを適用し、Copilotの実装が仕様を満たしているかどうかを確認した。
• ポ인터演算やメモリ管理の複雑さを避けるために、Pythonを介した翻訳手法を用いた。
• 特に再帰的実装においては、不変条件やループ構造を特定することで検証プロセスを支援した。

実験結果

リサーチクエスチョン

• RQ1 Dafnyは、手作業で作成した仕様に基づいて、GitHub Copilotが生成したコードを形式的に検証できるか？
• RQ2 Copilotが生成した実装のうち、何個が正常に検証に成功したか。また、検証成功に影響を与える要因は何か？
• RQ3 AI生成コードの検証において、特に再帰的または非自明なアルゴリズムの場合、主な課題は何か？
• RQ4 検証可能性と正しさの観点から、Copilotが生成したコードは人間が書いたコードと比べてどの程度の品質か？
• RQ5 Copilotのトレーニングデータが、有名なアルゴリズム的問題に対して検証可能なコードを生成する能力に、どの程度影響を与えているか？

主な発見

• 6つのCopilot生成実装のうち4つがDafnyを用いて正常に形式的検証に成功した。これは、一部のAI生成コードが形式的検証に適していることを示している。
• 再帰的実装、特にmax-heapify関数の検証は特に困難であり、コードが正しそうでも検証が完了しなかった。
• Copilotは最適でない、あるいは誤りのあるソリューションを生成しており、max-heapifyのケースで顕著だった。これは、生成コードが即座に使用可能とは限らないことを示している。
• Dafnyにおける平方根のサポートの欠如が、ツール固有の制限をもたらしたが、ほとんどのケースでは検証を妨げなかった。
• 検証成功は、不変条件の明確さとコード構造に大きく依存しており、反復的実装は再帰的実装よりも検証が容易だった。
• 本研究では、Copilotがプロトタイプ作成を加速する一方で、形式的検証または広範なテストを経ない限り使用すべきではないと示唆している。