[논문 리뷰] Unveiling Memorization in Code Models

Zhou Yang, Zhipeng Zhao외 5명|arXiv (Cornell University)|2023. 08. 19.

Software Engineering Research참고 문헌 64인용 수 7

한 줄 요약

이 논문은 대규모 사전 훈련된 코드 모델에서의 기억화를 체계적으로 실증적으로 연구한 최초의 연구로, 단지 20,000개의 출력만으로도 40,125개 이상의 정확한 복제된 코드 스니펫을 유출할 수 있음을 밝혀냈다. 모델 크기, 출력 길이, 훈련 데이터 빈도가 주요 요인임을 규명하였고, 기억된 내용에 대한 3개 카테고리, 14개 하위 카테고리로 구성된 분류 체계를 제안하였으며, 중복된 훈련 데이터를 제거할 경우 기억화를 줄일 수 있음을 입증하였고, 이를 탐지하기 위한 효과적인 메트릭도 제안하였다.

ABSTRACT

The availability of large-scale datasets, advanced architectures, and powerful computational resources have led to effective code models that automate diverse software engineering activities. The datasets usually consist of billions of lines of code from both open-source and private repositories. A code model memorizes and produces source code verbatim, which potentially contains vulnerabilities, sensitive information, or code with strict licenses, leading to potential security and privacy issues. This paper investigates an important problem: to what extent do code models memorize their training data? We conduct an empirical study to explore memorization in large pre-trained code models. Our study highlights that simply extracting 20,000 outputs (each having 512 tokens) from a code model can produce over 40,125 code snippets that are memorized from the training data. To provide a better understanding, we build a taxonomy of memorized contents with 3 categories and 14 subcategories. The results show that the prompts sent to the code models affect the distribution of memorized contents. We identify several key factors of memorization. Specifically, given the same architecture, larger models suffer more from memorization problems. A code model produces more memorization when it is allowed to generate longer outputs. We also find a strong positive correlation between the number of an output's occurrences in the training data and that in the generated outputs, which indicates that a potential way to reduce memorization is to remove duplicates in the training data. We then identify effective metrics that infer whether an output contains memorization accurately. We also make suggestions to deal with memorization.

연구 동기 및 목표

• 대규모 사전 훈련된 코드 모델에서의 기억화 정도와 성격을 조사하기 위해, 오픈소스 및 비공개 레포지토리에서 온 거대한 코드베이스를 토대로 훈련된 모델들을 고려하여 연구한다.
• 기밀성, 라이선스, 취약성 등이 있는 코드를 포함한 기억된 콘텐츠의 유형을 식별하고 분류하여 개인정보 유출 및 보안 위험을 평가한다.
• 모델 크기, 출력 길이, 훈련 데이터 빈도와 같은 기억화에 영향을 주는 주요 요인을 분석한다.
• 모델 출력에서 기억된 콘텐츠를 탐지하기 위한 효과적인 메트릭을 개발한다.
• 훈련 및 배포 단계에서 기억화를 완화하기 위한 실질적인 권고 사항을 제공한다.

제안 방법

• 시작 토큰 프롬프트를 사용하여 CodeParrot 및 CodeParrot-small에서 20,000개의 코드 출력(각각 512 토큰)을 실증적으로 추출한다.
• 생성된 출력과 훈련 데이터 간의 정확한 문자열 매칭을 수행하여 정확한 복제 기억화를 식별한다.
• 콘텐츠 유형과 민감도를 바탕으로 3개의 주요 카테고리와 14개의 하위 카테고리로 구성된 기억된 콘텐츠의 분류 체계를 개발한다.
• 훈련 데이터에서 특정 코드 스니펫의 빈도와 모델 출력에서의 빈도 간 상관관계를 분석한다.
• n-gram 겹침, 임베딩 유사도 등 다양한 메트릭이 기억된 출력을 탐지하는 데 얼마나 효과적인지 평가한다.
• GitHub Copilot과 같은 실질적으로 배포된 모델을 대상으로 사례 연구를 수행하여 실제 세계에서의 기억화 위험을 평가한다.

실험 결과

연구 질문

• RQ1 대규모 사전 훈련된 코드 모델이 훈련 데이터를 정확히 복제하여 얼마나 기억하는가? 작은 수의 모델 출력에서 얼마나 많은 기억된 스니펫을 추출할 수 있는가?
• RQ2 가장 흔하게 기억되는 콘텐츠의 유형은 무엇이며, 민감도와 위험도 측면에서 체계적으로 분류할 수 있는가?
• RQ3 모델 크기, 출력 길이, 훈련 데이터 빈도는 기억화의 가능성과 양에 어떤 영향을 미치는가?
• RQ4 기억된 콘텐츠를 포함하고 있는지 정확하게 탐지할 수 있는 효과적인 메트릭를 식별할 수 있는가?
• RQ5 훈련 및 배포 단계에서 기억화를 줄이기 위해 실질적인 전략을 어떻게 적용할 수 있는가?

주요 결과

• 단지 20,000개의 출력(각각 512 토큰)만 추출해도 훈련 데이터로부터 40,125개 이상의 정확한 복제된 코드 스니펫을 유출할 수 있다.
• 훈련 데이터에서 특정 코드 스니펫의 빈도와 모델 출력에서의 빈도 사이에 강한 정적 상관관계가 존재하며, 이는 훈련 데이터에서 중복 제거를 통해 기억화를 줄일 수 있음을 시사한다.
• 아키텍처를 동일하게 유지할 경우 더 큰 모델이 더 많은 기억화 문제를 겪는다. 이는 모델 크기가 중요한 요인임을 나타낸다.
• 더 긴 출력 길이는 기억된 콘텐츠의 확률과 양을 증가시키며, 출력 길이가 제어 가능한 위험 요소임을 강조한다.
• 기밀 정보, 라이선스 코드, 취약한 코드의 3개 주요 카테고리에 걸쳐 14개의 하위 카테고리로 구성된 기억된 콘텐츠를 규명하였으며, 다양한 개인정보 및 보안 위험을 드러냈다.
• n-gram 겹침 및 임베딩 기반 유사도와 같은 특정 메트릭이 기억된 출력을 탐지하는 데 높은 정확도를 보이며, 실세계 시스템에서의 실용적 탐지 가능성을 제공한다.