[논문 리뷰] Automatic Code Documentation Generation Using GPT-3

Junaed Younus Khan, Gias Uddin|arXiv (Cornell University)|2022. 09. 06.

Machine Learning and Data Classification인용 수 7

한 줄 요약

이 논문은 코드와 자연어로 미세튜닝된 GPT-3 기반 모델인 Codex가 여섯 가지 프로그래밍 언어에서 자동 코드 문서화 생성에 얼마나 효과적인지 평가한다. 단일 예시 프ompting을 사용함으로써 Codex는 BLEU 점수 20.6을 기록하며, 이는 기존 최고 성능 기법보다 11.2% 높은 성능을 보이며 코드 문서화 작업에서 강력한 제로샷 및 소수 샘플 일반화 능력을 입증한다.

ABSTRACT

Source code documentation is an important artifact for efficient software development. Code documentation could greatly benefit from automation since manual documentation is often labouring, resource and time-intensive. In this paper, we employed Codex for automatic code documentation creation. Codex is a GPT-3 based model pre-trained on both natural and programming languages. We find that Codex outperforms existing techniques even with basic settings like one-shot learning (i.e., providing only one example for training). Codex achieves an overall BLEU score of 20.6 for six different programming languages (11.2% improvement over earlier state-of-the-art techniques). Thus, Codex shows promise and warrants in-depth future studies for automatic code documentation generation to support diverse development tasks.

연구 동기 및 목표

• Codex(GPT-3 기반 모델)가 미세튜닝 없이 코드 문서화 생성에 얼마나 효과적인지 조사하기.
• 기존 최고 성능 모델들과의 비교를 통해 Codex의 자동 코드 문서화 생성 성능 평가하기.
• 자동 평가 지표(BLEU)와 인간이 읽을 수 있는 예시를 통해 생성된 문서화 품질 평가하기.
• 소수 샘플 및 제로샷 프ompting이 코드 문서화 작업에 미치는 잠재적 영향 탐색하기.

제안 방법

• 다양한 프로그래밍 언어와 자연어 데이터로 사전 훈련된 GPT-3 기반 모델인 Codex를 코드 문서화 생성에 사용하였다.
• 단일 예시 프ompting을 사용하여, 하나의 코드-문서화 쌍을 제공함으로써 생성를 유도하였다.
• 평가 작업은 Python, Java, PHP, Go, JavaScript, Ruby의 여섯 가지 프로그래밍 언어를 포함하는 CodeSearchNet 데이터셋에서 수행되었다.
• 생성된 문서화는 실제 인간이 작성한 문서화와의 자동 평가 지표 비교를 위해 BLEU 점수로 평가되었다.
• 연구에서는 생성된 문서화의 질적 분석도 포함되었으며, 기준 문서화와의 명확성 및 완전성 비교가 이루어졌다.
• 모델 파라미터 설정은 공식 OpenAI 문서를 기반으로 하였으며, 모델의 미세튜닝은 수행되지 않았다.

실험 결과

연구 질문

• RQ1 Codex는 미세튜닝 없이 단일 예시 프ompting만으로도 고품질의 코드 문서화를 생성할 수 있는가?
• RQ2 CodeBERT, PLBART, CoTexT와 같은 기존 최고 성능 모델들과 비교해 볼 때 Codex의 코드 문서화 생성 성능는 어떠한가?
• RQ3 소수 샘플 프ompting은 생성된 문서화의 품질과 일관성에 어떤 영향을 미치는가?
• RQ4 Codex가 생성한 문서화는 인간이 작성한 문서화와 비교해 명확성과 완전성 측면에서 어떠한가?
• RQ5 현실 세계 소프트웨어 엔지니어링 환경에서 Codex를 코드 문서화에 사용할 때의 한계는 무엇인가?

주요 결과

• Codex는 CodeSearchNet 데이터셋에서 BLEU 점수 20.6을 기록하였으며, 이는 이전 최고 성능 기법보다 11.2% 향상된 결과이다.
• 최소한의 프ompting(단일 예시)에도 불구하고, 작업 전용 미세튜닝이나 재훈련이 필요한 기존 모델들보다 뛰어난 성능을 보였다.
• 질적 분석 결과, 몇몇 사례에서 실제 인간이 작성한 버전보다 더 명확하거나 의미적으로 풍부한 문서화를 생성하였다.
• 예를 들어, Codex는 PHP 함수를 '256진수에서 10진수로 변환'한다고 정확하게 기술하였고, 원본 문서는 덜 정확한 표현인 '십진수'를 사용하였다.
• Ruby의 경우, Codex는 '경로가 존재하지 않으면 no-op가 수행된다'는 올바른 의미적 세부 정보를 추가하였고, 원본 문서에는 이 정보가 누락되어 있었다.
• 이 연구는 GPT-3 기반 모델인 Codex가 코드 문서화 생성 작업에서 강력한 제로샷 또는 소수 샘플 기반 모델로 활용될 수 있음을 확인하였으며, 향후 추가 연구가 필요하다.