[논문 리뷰] ReCode: Robustness Evaluation of Code Generation Models

Shiqi Wang, Zheng Li외 12명|arXiv (Cornell University)|2022. 12. 20.

Software Engineering Research인용 수 6

한 줄 요약

이 논문은 코드 생성 모델의 견고성 평가를 위한 첫 번째 종합 벤치마크인 ReCode를 소개한다. 이는 문서화 주석, 함수 이름, 구문, 서식 등에 걸쳐 30개 이상의 자연스럽고 의미를 유지하는 변형을 적용하여 실제 입력 변형 상황에서의 모델 안정성을 평가한다. 분석 결과, CodeGen은 InCoder나 GPT-J보다도 더 뛰어난 견고성을 보이며, 특히 구문과 서식 변형에 대해 뛰어난 내성성을 보인다.

ABSTRACT

Code generation models have achieved impressive performance. However, they tend to be brittle as slight edits to a prompt could lead to very different generations; these robustness properties, critical for user experience when deployed in real-life applications, are not well understood. Most existing works on robustness in text or code tasks have focused on classification, while robustness in generation tasks is an uncharted area and to date there is no comprehensive benchmark for robustness in code generation. In this paper, we propose ReCode, a comprehensive robustness evaluation benchmark for code generation models. We customize over 30 transformations specifically for code on docstrings, function and variable names, code syntax, and code format. They are carefully designed to be natural in real-life coding practice, preserve the original semantic meaning, and thus provide multifaceted assessments of a model's robustness performance. With human annotators, we verified that over 90% of the perturbed prompts do not alter the semantic meaning of the original prompt. In addition, we define robustness metrics for code generation models considering the worst-case behavior under each type of perturbation, taking advantage of the fact that executing the generated code can serve as objective evaluation. We demonstrate ReCode on SOTA models using HumanEval, MBPP, as well as function completion tasks derived from them. Interesting observations include: better robustness for CodeGen over InCoder and GPT-J; models are most sensitive to syntax perturbations; more challenging robustness evaluation on MBPP over HumanEval.

연구 동기 및 목표

• 실제 환경에서 코드 생성 모델의 견고성 평가를 위한 종합적이고 정량적인 벤치마크가 부족한 문제를 해결하기 위해.
• 의미를 유지하는 소규모 자연스러운 프롬프트 변형(예: 재구성된 문서화 주석, 변수 이름 변경)으로 인해 발생하는 모델의 취약성 원인을 규명하고 특성화하기 위해.
• 기능적 동작을 기반으로 한 객관적 평가를 활용하는 일반화 가능한 평가 프레임워크를 개발하여 실제 세계의 신뢰성 반영 가능한 견고성 메트릭을 제공하기 위해.
• HumanEval 및 MBPP와 같은 다양한 데이터셋과 변형 유형을 기반으로 최신 코드 생성 모델을 비교할 수 있는 표준화되고 확장 가능한 벤치마크를 제공하기 위해.

제안 방법

• 문서화 주석(예: 역번역, 어조 재구성), 함수/변수 이름(예: 캐мел 케이스 이름 변경, 동의어 대체), 코드 구문(예: 문장 순서 변경, 연산자 변경), 코드 서식(예: 들여쓰기, 줄 바꿈) 등 네 가지 코드 요소에 걸쳐 30개 이상의 자연스럽고 의미를 유지하는 변형을 설계 및 적용한다.
• 인간 평가 및 의미 유사도 점수(BERTScore 등)를 활용하여 90% 이상의 변형된 프롬프트가 원본 의미를 유지하고 자연스럽다는 것을 검증한다.
• 실행 기반 정확도를 기준으로 삼아 세 가지 견고성 메트릭을 정의한다: Robust Pass @k(변형된 프롬프트에서의 정확도), Robust Drop @k(기본 프롬프트 대비 정확도 상대적 감소), Robust Relative @k(일반적인 불안정성 측정 기준).
• HumanEval 및 MBPP에서 SOTA 모델(CodeGen, InCoder, GPT-J)에 대해 벤치마크를 적용하며, 안정적인 추정을 위해 온도 0.2, n=100으로 top-p 샘플링을 사용한다.
• 생성된 코드의 실행 결과를 객관적 평가 기준으로 활용하여, 정확도가 표면적 문자열 일치가 아닌 기능적 동작에 기반함을 보장한다.
• 다양한 변형 유형과 모델 변형(예: 단일 모델 대 다중 모델, 2B에서 16B 파라미터)에 걸쳐 견고성 평가를 수행한다.

실험 결과

연구 질문

• RQ1 최신 코드 생성 모델은 자연스럽고 의미를 유지하는 프롬프트 변형 상황에서 어떻게 성능을 보이는가?
• RQ2 문서화 주석, 이름, 구문, 서식 중 어떤 변형이 모델의 견고성에 가장 심각한 영향을 미치는가?
• RQ3 모델 아키텍처와 사전학습 데이터의 다양성은 프롬프트 변형에 대한 견고성에 어떤 영향을 미치는가?
• RQ4 Robust Pass, Robust Drop, Robust Relative와 같은 견고성 메트릭은 다양한 데이터셋에서 모델 성능과 안정성과 어떻게 상관관계를 가지는가?
• RQ5 HumanEval 및 MBPP와 같은 다양한 코드 생성 벤치마크 간 견고성 성능은 일관된가?

주요 결과

• CodeGen 모델는 모든 변형 유형에서 InCoder나 GPT-J보다 유의미하게 뛰어난 견고성을 보이며, 기본 조건에서 HumanEval에서 CodeGen-16B-mono의 Robust Pass @1은 0.306에 도달한다.
• 구문 변형이 성능 저하를 가장 크게 유도하며, CodeGen-16B-mono의 경우 Robust Drop @1이 60.87%에 이르러 구조적 변화에 매우 민감함을 보인다.
• 서식 변형, 특히 줄 바꿈 및 탭 들여쓰기 변경은 견고성 저하를 심각하게 유도한다: 서식 변경에 대해 Robust Drop @1은 39.13%, 코드 뒤 줄 바꿈 변경에 대해선 45.42%에 이른다(MBPP 기준).
• 모델은 HumanEval에서 MBPP보다 더 높은 견고성을 보이며, 유사한 변형 조건에서 MBPP의 Robust Drop @1은 InCoder-6B 기준 45.42%로 나타나고, HumanEval에서는 CodeGen-2B-mono 기준 16.67%로 낮다.
• 다양한 샘플링 온도 및 n 값에서도 Robust Drop는 안정적이며, Robust Pass와 Robust Relative는 k가 증가함에 따라 증가함을 확인하여 다양한 추론 설정에서도 메트릭의 일관성을 입증한다.
• 인간 평가 결과, 변형된 프롬프트의 90% 이상이 의미를 유지함을 확인하여 ReCode 벤치마크의 자연스러움과 유효성을 검증한다.