[논문 리뷰] On Extracting Specialized Code Abilities from Large Language Models: A Feasibility Study

Zongjie Li, Chaozheng Wang외 6명|arXiv (Cornell University)|2023. 03. 06.

Software Engineering Research인용 수 6

한 줄 요약

이 논문은 중간 크기의 백본 모델을 사용한 모방 공격를 통해 대규모 언어 모델(Large Language Models, LLMs)에서 전문화된 코드 생성 능력(예: 코드 합성 및 번역)을 추출하는 것이 가능한지 조사한다. 다양한 질의 전략(제로샷, 인라인 컨텍스트, 체인 오브 토우그트)과 응답 검증을 활용함으로써, 저자들은 현지에 훈련된 모델이 목표 LLM의 코드 관련 행동을 높은 정확도로 효과적으로 재현할 수 있음을 보여주며, 모델 추출에 대한 실용적인 위협 표면을 드러낸다.

ABSTRACT

Recent advances in large language models (LLMs) significantly boost their usage in software engineering. However, training a well-performing LLM demands a substantial workforce for data collection and annotation. Moreover, training datasets may be proprietary or partially open, and the process often requires a costly GPU cluster. The intellectual property value of commercial LLMs makes them attractive targets for imitation attacks, but creating an imitation model with comparable parameters still incurs high costs. This motivates us to explore a practical and novel direction: slicing commercial black-box LLMs using medium-sized backbone models. In this paper, we explore the feasibility of launching imitation attacks on LLMs to extract their specialized code abilities, such as"code synthesis" and "code translation." We systematically investigate the effectiveness of launching code ability extraction attacks under different code-related tasks with multiple query schemes, including zero-shot, in-context, and Chain-of-Thought. We also design response checks to refine the outputs, leading to an effective imitation training process. Our results show promising outcomes, demonstrating that with a reasonable number of queries, attackers can train a medium-sized backbone model to replicate specialized code behaviors similar to the target LLMs. We summarize our findings and insights to help researchers better understand the threats posed by imitation attacks, including revealing a practical attack surface for generating adversarial code examples against LLMs.

연구 동기 및 목표

• 상용 LLMs의 전문화된 코드 능력이 모방 공격를 통해 추출될 수 있는지 조사하기.
• 제로샷, 인라인 컨텍스트, 체인 오브 토우그트와 같은 다양한 질의 전략이 목표 LLM의 행동을 유도하는 데 얼마나 효과적인지 평가하기.
• 출력을 정교화하고 모의 모델 성능을 향상시키기 위해 응답 검증을 설계하고 적용하기.
• 추출된 능력의 후행 영향을 평가하기, 예를 들어 악성 예제 생성 포함.
• LLM의 보안 위험에 대한 통찰을 제공하고 워터마킹과 같은 대응 전략을 제안하기.

제안 방법

• 목표 LLM으로부터 코드 관련 응답을 유도하기 위해 제로샷, 인라인 컨텍스트, 체인 오브 토우그트 프롬프팅을 사용하는 질의 생성 프레임워크 설계.
• 출력을 걸러내고 정제하여, 모의 모델의 훈련 데이터 품질을 높이기 위한 응답 검증 구현.
• 수집된 응답을 기반으로 중간 크기의 백본 모델을 훈련하여 목표 LLM의 코드 생성 행동을 모방하기.
• 코드 합성, 번역, 완성 작업에 대해 CodeBLEU 점수와 pass@k 메트릭을 사용하여 모의 모델의 성능 평가.
• 추출된 모델을 사용해 악성 코드 예제를 생성하여 실용적 유용성을 입증하기.
• 이러한 추출 공격에 대비한 방어 수단으로서 워터마킹의 역할 탐색하기.

실험 결과

연구 질문

• RQ1 중간 크기의 모델이 질의 기반 모방 공격를 통해 상용 LLMs의 전문화된 코드 능력을 성공적으로 모방할 수 있는가?
• RQ2 다양한 프롬프팅 전략(제로샷, 인라인 컨텍스트, 체인 오브 토우그트)이 추출된 코드 능력의 품질과 이식 가능성에 어떤 영향을 미치는가?
• RQ3 응답 검증이 모의 모델 출력의 정확성에 얼마나 기여하는가?
• RQ4 추출된 모델은 악성 예제 생성과 같은 후행 작업에 효과적으로 활용될 수 있는가?
• RQ5 이 공격 표면이 모델 지적재산권 보호에 어떤 함의를 지닌다?

주요 결과

• 합리적인 수의 질의를 사용하여, 모의 모델는 코드 합성, 번역, 완성 작업에서 목표 LLM과 비교할 만한 성능을 달성했다.
• 체인 오브 토우그트와 인라인 컨텍스트 프롬프팅 전략이 제로샷 프롬프팅보다 추출된 코드의 품질과 정확도를 크게 향상시켰다.
• 응답 검증이 저품질 또는 잘못된 출력을 효과적으로 걸러내어 훈련 데이터의 품질을 높이고, 결과적으로 모델 성능을 향상시켰다.
• 추출된 모델은 악성 코드 예제를 성공적으로 생성하여 악성 응용 프로그램에서의 실용성을 입증했다.
• 본 연구는 블랙박스 LLMs에서 전문화된 코드 능력을 추출하는 데 실용적이고 비용 효율적인 공격 표면을 드러냈다.
• 워터마킹은 유망한 방어 수단이지만 아직 활용되지 못하고 있으며, LLM 배포 시 더 강력한 지적재산권 보호 전략이 필요하다는 점을 시사한다.