[論文レビュー] On the Robustness of Code Generation Techniques: An Empirical Study on GitHub Copilot

Antonio Mastropaolo, Luca Pascarella+5 more|arXiv (Cornell University)|Feb 1, 2023

Software Engineering Research被引用数 7

ひとこと要約

この論文は、意味的に等価な自然言語の説明が GitHub Copilot の Java メソッド生成にどのように影響するかを実証的に研究し、入力の言い換えが約 46% のケースで予測を変え、約 28% の状況で正確性を低下させる可能性があることを示しています。

ABSTRACT

Software engineering research has always being concerned with the improvement of code completion approaches, which suggest the next tokens a developer will likely type while coding. The release of GitHub Copilot constitutes a big step forward, also because of its unprecedented ability to automatically generate even entire functions from their natural language description. While the usefulness of Copilot is evident, it is still unclear to what extent it is robust. Specifically, we do not know the extent to which semantic-preserving changes in the natural language description provided to the model have an effect on the generated code function. In this paper we present an empirical study in which we aim at understanding whether different but semantically equivalent natural language descriptions result in the same recommended function. A negative answer would pose questions on the robustness of deep learning (DL)-based code generators since it would imply that developers using different wordings to describe the same code would obtain different recommendations. We asked Copilot to automatically generate 892 Java methods starting from their original Javadoc description. Then, we generated different semantically equivalent descriptions for each method both manually and automatically, and we analyzed the extent to which predictions generated by Copilot changed. Our results show that modifying the description results in different code recommendations in ~46% of cases. Also, differences in the semantically equivalent descriptions might impact the correctness of the generated code ~28%.

研究の動機と目的

• 自動的な言い換えが Copilot のような DL ベースのコード生成器の頑健性を検証できるかを評価する。
• semantically equivalent な説明が与えられたとき、Copilot が生成するコードがどの程度変わるかを定量化する。
• 言い換えによる変化が予測の正確性にどのように影響するかを、テストと類似度指標を用いて評価する。
• Copilot との相互作用を頑健性研究の再現性データと自動化ワークフローとして提供する。

提案手法

• 原著の自然言語説明としての Javadoc の最初の文を持つ 892 個の Java メソッドのデータセットを作成する。
• PEGASUS と Translation Pivoting による意味的に等価な言い換え、さらに手動の言い換えを生成する。
• 元の説明と言い換えられた説明の両方を用いて、2 つのコンテキスト設定（完全なコンテキストと部分的なコンテキスト）でメソッド本体を生成するよう Copilot の相互作用を自動化する。
• テスト結果、CodeBLEU、トークンレベルの Levenshtein 距離で予測を評価し、類似性と正確性を測定する。
• 言い換えの品質と入力コンテキストが Copilot の出力と正確性に与える影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 RQ0: 自動的な言い換え技術は DL ベースのコード生成器の頑健性を検証できるか？
• RQ2 RQ1: Copilot の出力は入力コード説明にどの程度影響を受けるか？
• RQ3 （暗黙的）言い換え由来の変化は予測の類似性とテスト結果とどのように相関するか？

主な発見

• 言い換えられた元の説明は Copilot のコード予測を約 46% のケースで変える。
• 約 13% の予測がテストに合格、約 15% が失敗またはエラーを生じ、約 72-73% が有効なメソッドを生成しない。
• PEGASUS は 666 件の同等言い換えを生成（75%）、TP は 688 件の同等言い換えを生成（77%）。
• 同等の言い換えのみを考慮すると、Copilot の出力は平均的には類似のままだが CodeBLEU および Levenshtein 指標で大きく乖離する可能性がある。
• テストを通過するケースでも言い換えが異なる予測を生み、同じテストを通過しない場合があるため、頑健性の課題を示す（テストベースの評価のギャップを示唆）。
• 一部の言い換え誘発の予測がテストを通過するが、対象実装と意味的に異なる場合があり、テストベースの評価には潜在的なギャップがあることを示す。