[논문 리뷰] Codex Hacks HackerRank: Memorization Issues and a Framework for Code Synthesis Evaluation

Anjan Karmakar, Julian Aron Prenner외 2명|arXiv (Cornell University)|2022. 12. 06.

Software Engineering Research인용 수 9

한 줄 요약

이 논문은 115개의 HackerRank 파이썬 문제에서 OpenAI의 Codex 모델을 평가하여, 높은 제로샷(96%) 및 희소샷(100%) 성공률에도 불구하고 상당한 기억화 행동을 보임을 밝혀냈다. 저자들은 코드 생성 일반화 능력을 체계적으로 평가하기 위해 변형 기반 프레임워크를 제안하며, 대규모 코드 모델에서의 기억화, 편향, 프라이버시 泄露 위험을 강조한다.

ABSTRACT

The Codex model has demonstrated extraordinary competence in synthesizing code from natural language problem descriptions. However, in order to reveal unknown failure modes and hidden biases, such large-scale models must be systematically subjected to multiple and diverse evaluation studies. In this work, we evaluate the code synthesis capabilities of the Codex model based on a set of 115 Python problem statements from a popular competitive programming portal: HackerRank. Our evaluation shows that Codex is indeed proficient in Python, solving 96% of the problems in a zero-shot setting, and 100% of the problems in a few-shot setting. However, Codex exhibits clear signs of generating memorized code based on our evaluation. This is alarming, especially since the adoption and use of such models could directly impact how code is written and produced in the foreseeable future. With this in mind, we further discuss and highlight some of the prominent risks associated with large-scale models of source code. Finally, we propose a framework for code-synthesis evaluation using variations of problem statements based on mutations.

연구 동기 및 목표

• Codex가 자연어 프롬프트에서 코드를 생성할 때 기억화 행동을 보이는지 조사하는 것.
• 통제된 변형을 적용한 수정된 문제 기술서를 통해 Codex의 일반화 능력을 평가하는 것.
• 기억화, 편향, 프라이버시 泄露와 같은 대규모 코드 모델과 관련된 위험을 규명하는 것.
• 코드 생성 모델을 위한 문제 기술서 변형 기반 체계적 평가 프레임워크를 제안하는 것.
• 소프트웨어 공학 환경에서 대규모 언어 모델의 코드 생성 능력의 신뢰성과 투명성을 향상시키는 것.

제안 방법

• 저자들은 코드 생성 평가를 위한 벤치마크로 HackerRank에서 115개의 파이썬 문제 기술서를 수집하였다.
• 입력-출력 사양, 문제 서술어, 변수 이름을 변경하여 통제된 변형을 문제 기술서에 적용하여 일반화 능력을 테스트하였다.
• Codex는 제로샷 및 희소샷 설정에서 원본 및 변형된 문제 기술서를 다양한 온도 설정으로 프롬프트하였다.
• 모델의 출력은 정확도, 기억화, 입력 변형에 대한 민감도를 기준으로 평가되었다.
• 연구는 기억화 및 일반화 실패를 체계적으로 탐지하기 위한 변형 기반 평가 프레임워크를 도입하였다.
• 이 프레임워크는 문자열 조작, 산술 논리, 해싱 등 다양한 문제 유형에 적용되어 내구성 평가가 이루어졌다.

실험 결과

연구 질문

• RQ1 수정된 문제 기술서를 프롬프트로 제공했을 때 Codex가 새로운 해결책을 합성하는 대신 얼마나 자주 기억된 코드를 생성하는가?
• RQ2 문제 기술서에서 입력-출력 사양이 생략되거나 변경되었을 때 Codex의 성능은 어떻게 변하는가?
• RQ3 의미적으로 동일하지만 문법적으로 다른 문제 서술 방식에 직면했을 때 Codex의 실패 양상은 무엇인가?
• RQ4 문제 기술서가 부분적 또는 모호한 경우 Codex의 행동은 어떻게 변화하는가?
• RQ5 기억화가 대규모 언어 모델이 생성하는 코드의 신뢰성, 보안성, 프라이버시에 미치는 영향은 무엇인가?

주요 결과

• Codex는 원본 HackerRank 문제에서 제로샷 생성 성공률이 96%이며, 희소샷 설정에서는 100%를 기록하여 강력한 기초 성능을 보였다.
• 높은 성공률에도 불구하고, 입력-출력 예시가 생략된 경우에도 Codex는 원래 문제 사양과 일치하는 코드를 자주 생성하여 기억화 행동을 보였다.
• 일부 사례에서는 문제 기술서의 첫 문장만으로도 Codex가 정확한 코드를 생성하여 추론이 아닌 기억된 패턴에 의존함을 시사했다.
• 문자열 인코딩을 포함한 변형된 문제에 대해 Codex는 변형 유형의 67%에서만 정확한 해결책을 합성하여 입력 변화에 취약함을 보였다.
• Codex는 자연어 입력에 민감하게 반응하여, 예를 들어 'twenty-three'를 2-3로 잘못 해석하는 등 어순에 따라 다르게 해석하는 경우가 있어, 어조에 민감함을 보였다.
• 연구는 표준 벤치마크인 HackerRank가 모델이 훈련 데이터에서 공통적인 코드 패턴을 기억함으로써 편향될 수 있음을 입증하였다.