[논문 리뷰] CGEMs: A Metric Model for Automatic Code Generation using GPT-3

Aishwarya Narasimhan, Krishna Prasad Agara Venkatesha Rao외 1명|arXiv (Cornell University)|2021. 08. 23.

Explainable Artificial Intelligence (XAI)참고 문헌 7인용 수 6

한 줄 요약

이 논문은 컴파일 체크, 자연어에서 논리로의 변환, 편집 횟수, 정적 코드 메트릭, NLP 기반 특징의 조합을 사용하여 GPT-3가 생성한 코드를 평가하는 CGEMs라는 메트릭 모델을 제안한다. 이 메트릭들을 기반으로 훈련된 신경망 분류기는 수용 가능한 코드와 그렇지 않은 코드를 구분하는 데 76.92%의 정확도와 55.56%의 F1 스코어를 기록하였으며, 해석 가능성은 XAI 기법을 통해 향상되었다.

ABSTRACT

Today, AI technology is showing its strengths in almost every industry and walks of life. From text generation, text summarization, chatbots, NLP is being used widely. One such paradigm is automatic code generation. An AI could be generating anything; hence the output space is unconstrained. A self-driving car is driven for 100 million miles to validate its safety, but tests cannot be written to monitor and cover an unconstrained space. One of the solutions to validate AI-generated content is to constrain the problem and convert it from abstract to realistic, and this can be accomplished by either validating the unconstrained algorithm using theoretical proofs or by using Monte-Carlo simulation methods. In this case, we use the latter approach to test/validate a statistically significant number of samples. This hypothesis of validating the AI-generated code is the main motive of this work and to know if AI-generated code is reliable, a metric model CGEMs is proposed. This is an extremely challenging task as programs can have different logic with different naming conventions, but the metrics must capture the structure and logic of the program. This is similar to the importance grammar carries in AI-based text generation, Q&A, translations, etc. The various metrics that are garnered in this work to support the evaluation of generated code are as follows: Compilation, NL description to logic conversion, number of edits needed, some of the commonly used static-code metrics and NLP metrics. These metrics are applied to 80 codes generated using OpenAI's GPT-3. Post which a Neural network is designed for binary classification (acceptable/not acceptable quality of the generated code). The inputs to this network are the values of the features obtained from the metrics. The model achieves a classification accuracy of 76.92% and an F1 score of 55.56%. XAI is augmented for model interpretability.

연구 동기 및 목표

• 제약 없는 출력 공간에서 AI에 의해 생성된 코드를 검증하는 데 도전하는 것.
• GPT-3와 같은 대규모 언어 모델이 생성한 코드에 대해 신뢰할 수 있고 자동화된 메트릭 기반 평가 프레임워크를 개발하는 것.
• 컴파일 성공, 논리 충실도, 편집 횟수, 코드 구조와 같은 핵심 특징들을 식별하고 정량화하여 코드 품질을 반영하는 것.
• 측정 가능한 메트릭을 바탕으로 GPT-3가 생성한 코드가 수용 가능한지 여부를 예측하는 이진 분류 모델을 설계하는 것.
• 코드 품질 평가의 투명성을 확보하기 위해 설명 가능한 인공지능(XAI) 기법을 사용해 모델의 해석 가능성을 향상시키는 것.

제안 방법

• 프레임워크는 80개의 GPT-3가 생성한 코드 샘플을 수집하고 컴파일 성공, 자연어에서 논리로의 변환 정확도, 편집 횟수, 표준 정적 코드 메트릭(예: 순환 복잡도), NLP 기반 메트릭의 세트를 적용한다.
• 각 코드 샘플은 이러한 메트릭을 기반으로 점수화되어 모델 입력용 특징 벡터를 형성한다.
• 메트릭에서 유도된 특징를 사용하여 이진 분류(수용 가능한 코드 대 비수용 가능한 코드)를 위한 피드포워드 신경망을 훈련시킨다.
• 분류 성능을 최적화하며, 평가 지표로는 정확도와 F1 스코어가 포함된다.
• 모델의 예측을 해석하고 분류 결과에 가장 큰 영향을 미치는 특징를 식별하기 위해 XAI 기법을 적용한다.

실험 결과

연구 질문

• RQ1 컴파일, 정적 코드, NLP 메트릭의 하이브리드 세트가 GPT-3가 생성한 코드의 품질을 효과적으로 평가할 수 있는가?
• RQ2 신경망 분류기가 이러한 메트릭을 기반으로 수용 가능한 코드와 비수용 가능한 코드를 얼마나 잘 구분할 수 있는가?
• RQ3 개별 메트릭 중에서 코드 품질 분류에 가장 크게 기여하는 요소는 무엇인가?
• RQ4 XAI 기법을 통해 코드 품질 평가 모델의 해석 가능성은 어느 정도 향상될 수 있는가?
• RQ5 제안된 메트릭 모델은 생성된 코드의 논리적 변형과 이름 규칙의 다양성에 대해 충분히 강건한가?

주요 결과

• CGEMs 모델은 GPT-3가 생성한 80개의 코드 샘플로 구성된 테스트 세트에서 76.92%의 분류 정확도를 기록했다.
• 이진 분류 작업의 F1 스코어는 55.56%로, 정밀도와 재현율 사이의 균형이 중간 정도로 나타났다.
• 컴파일 성공과 편집 횟수는 기능적 정확도와 유지보수성의 강력한 지표로 나타났다.
• 특히 자연어 프롬프트와 코드 논리 간의 일치도를 측정하는 NLP 기반 메트릭이 모델의 예측 능력에 의미 있는 기여를 하였다.
• XAI 분석을 통해 논리 충실도와 코드 구조 메트릭이 모델의 의사결정 과정에서 가장 영향력 있는 특징로 드러났다.
• 결과적으로 메트릭 기반, 데이터 기반 접근 방식이 AI에 의해 생성된 코드 평가에 통계적으로 타당하고 해석 가능한 방법을 제공할 수 있음을 보여주었다.