[논문 리뷰] On the Robustness of Code Generation Techniques: An Empirical Study on GitHub Copilot

Antonio Mastropaolo, Luca Pascarella외 5명|arXiv (Cornell University)|2023. 02. 01.

Software Engineering Research인용 수 7

한 줄 요약

본 논문은 의미적으로 동등한 자연어 설명이 GitHub Copilot의 Java 메서드 생성에 어떤 영향을 주는지 실증적으로 연구합니다. 입력의 패러프레이즈가 약 46%의 경우에 예측을 변화시키고 약 28%의 시나리오에서 정확도를 떨어뜨릴 수 있음을 규명합니다.

ABSTRACT

Software engineering research has always being concerned with the improvement of code completion approaches, which suggest the next tokens a developer will likely type while coding. The release of GitHub Copilot constitutes a big step forward, also because of its unprecedented ability to automatically generate even entire functions from their natural language description. While the usefulness of Copilot is evident, it is still unclear to what extent it is robust. Specifically, we do not know the extent to which semantic-preserving changes in the natural language description provided to the model have an effect on the generated code function. In this paper we present an empirical study in which we aim at understanding whether different but semantically equivalent natural language descriptions result in the same recommended function. A negative answer would pose questions on the robustness of deep learning (DL)-based code generators since it would imply that developers using different wordings to describe the same code would obtain different recommendations. We asked Copilot to automatically generate 892 Java methods starting from their original Javadoc description. Then, we generated different semantically equivalent descriptions for each method both manually and automatically, and we analyzed the extent to which predictions generated by Copilot changed. Our results show that modifying the description results in different code recommendations in ~46% of cases. Also, differences in the semantically equivalent descriptions might impact the correctness of the generated code ~28%.

연구 동기 및 목표

• 자동 패러프레이징이 Copilot과 같은 DL 기반 코드 생성기의 강건성을 테스트할 수 있는지 평가한다.
• 의미적으로 동등한 설명이 주어졌을 때 Copilot가 생성하는 코드가 어느 정도까지 바뀌는지 정량화한다.
• 패러프레이즈로 유발된 변화가 테스트 및 유사도 지표를 사용하여 예측 정확도에 어떤 영향을 미치는지 평가한다.
• 강건성 연구를 위한 Copilot 상호작용 자동화 워크플로우와 재현 데이터를 제공한다.

제안 방법

• 연관된 Javadoc 첫 문장을 자연어 설명으로 사용하는 892개의 Java 메서드 데이터셋을 구성한다.
• PEGASUS와 Translation Pivoting을 사용하고 수동 패러프레이즈도 더해 의미적으로 동등한 패러프레이즈를 생성한다.
• 원래 설명과 패러프레이즈된 설명으로부터 두 가지 맥락 설정(전체 맥락과 부분 맥락)에서 메서드 본문을 생성하도록 Copilot 상호작용을 자동화한다.
• 테스트 결과, CodeBLEU, 토큰 단위 Levenshtein 거리로 예측을 평가하여 유사성과 정확도를 측정한다.
• 패러프레이즈 품질과 입력 맥락이 Copilot의 출력과 정확도에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 RQ0: 자동 패러프레이징 기법이 DL 기반 코드 생성기의 강건성을 테스트할 수 있는가?
• RQ2 RQ1: 입력 코드 설명에 의해 Copilot의 출력이 어느 정도까지 영향을 받는가?
• RQ3 (암시적으로) 패러프레이즈 파생 변화가 예측 유사도 및 테스트 결과와 어떤 상관관계가 있는가.

주요 결과

• 원래 설명의 패러프레이즈는 Copilot의 코드 예측을 약 46%의 경우에서 변경한다.
• 약 13%의 예측이 테스트를 통과하고, 약 15%가 실패하거나 오류를 발생시키며, 약 72-73%는 유효한 메서드를 생성하지 못한다.
• PEGASUS가 666개의 동등한 패러프레이즈를 생성(75%), TP가 688개의 동등한 패러프레이즈를 생성(77%).
• 동등한 패러프레이즈만을 고려하면 Copilot의 출력은 평균적으로는 비슷하게 유지되나 CodeBLEU 및 Levenshtein 지표에서 상당히 다르게 나타날 수 있다.
• 테스트를 통과하는 사례의 28%에서 패러프레이즈가 동일한 테스트를 통과하지 않는 다른 예측으로 이어져 강건성 문제를 시사한다.
• 일부 패러프레이즈로 유도된 예측이 테스트를 통과하지만 대상 구현과 의미상 다르며 테스트 기반 평가의 잠재적 격차를 강조한다.