[논문 리뷰] Opening A Pandora's Box: Things You Should Know in the Era of Custom GPTs

Guanhong Tao, Siyuan Cheng외 4명|arXiv (Cornell University)|2023. 12. 31.

Advanced Malware Detection Techniques인용 수 6

한 줄 요약

이 논문은 OpenAI의 커스터마이즈드 GPT의 체계적 보안 분석을 수행하여 STRIDE 프레임워크를 활용해 26개의 공격 벡터를 규명하였으며, 그 중 19개는 실제 환경에서 검증됨. 데이터 유출, 위조, 비인가 코드 실행과 같은 심각한 위협을 드러내며, 공식 GPT 스토어 출시 이전에 사전 보안 설계 조치를 취할 것을 촉구함.

ABSTRACT

The emergence of large language models (LLMs) has significantly accelerated the development of a wide range of applications across various fields. There is a growing trend in the construction of specialized platforms based on LLMs, such as the newly introduced custom GPTs by OpenAI. While custom GPTs provide various functionalities like web browsing and code execution, they also introduce significant security threats. In this paper, we conduct a comprehensive analysis of the security and privacy issues arising from the custom GPT platform. Our systematic examination categorizes potential attack scenarios into three threat models based on the role of the malicious actor, and identifies critical data exchange channels in custom GPTs. Utilizing the STRIDE threat modeling framework, we identify 26 potential attack vectors, with 19 being partially or fully validated in real-world settings. Our findings emphasize the urgent need for robust security and privacy measures in the custom GPT ecosystem, especially in light of the forthcoming launch of the official GPT store by OpenAI.

연구 동기 및 목표

• 세밀하게 튜닝된 LLM을 통해 가능해진 새로운 패러다임인 커스터마이즈드 GPT 플랫폼의 보안 및 개인정보 위협을 체계적으로 분석하기 위해.
• 제3자 개발에 기인한 실세계 공격 시나리오를 식별하고 분류하기 위해.
• 위협 모델링과 공개된 커스터마이즈드 GPT에서의 실증적 검증을 통해 공격 벡터의 실현 가능성 평가하기 위해.
• 공식 GPT 스토어 출시 이전에 개발자, 사용자, 플랫폼 제공자에게 실행 가능한 보안 권고 사항 제안하기 위해.

제안 방법

• 악성 공격자의 역할에 따라 세 가지 위협 모델로 공격 시나리오를 분류: GPT, 최종 사용자, 또는 둘 다.
• 다섯 가지 핵심 데이터 교환 채널 식별: 대화, 파일 전송, 네트워크 액세스, 운영 명령어, 인증.
• STRIDE 위협 모델링 프레임워크를 적용하여 6개 카테고리(위조, 변조, 부인, 정보 유출, 서비스 거부, 권한 상승)에 걸쳐 위협을 체계적으로 매핑하기.
• 실제 환경 검증을 위해 공개된 커스터마이즈드 GPT를 분석하고, 규명된 26개의 공격 벡터 중 19개를 재현하기.
• 실행 투명성, 데이터 분리, 액세스 제어, 시스템 강화와 같은 보안 중심 설계 원칙 제안하기.
• 지침 스캔 및 실시간 모니터링을 통한 악성 GPT 탐지 전략 개발, 그리고 수동 채널 방어를 통한 악성 사용자 방지 전략 개발.

실험 결과

연구 질문

• RQ1 제3자 커스터마이즈드 GPT가 LLM 생태계에 도입하는 주요 보안 및 개인정보 위협은 무엇인가요?
• RQ2 악성 공격자의 역할에 기반한 다양한 위협 모델이 커스터마이즈드 GPT 공격 표면에 어떻게 나타나나요?
• RQ3 기존 공개된 커스터마이즈드 GPT에서 실제로 실현 가능한 공격 벡터는 무엇이며, 그 기술적 배경은 무엇인가요?
• RQ4 STRIDE 프레임워크는 LLM 기반 애플리케이션 플랫폼의 위협을 효과적으로 모델링하기 위해 어떻게 적응시킬 수 있나요?
• RQ5 공식 GPT 스토어 배포 이전에 이러한 위협을 완화하기 위한 보안 중심 설계 및 런타임 대응 조치는 무엇이 있나요?

주요 결과

• 연구는 STRIDE 프레임워크를 활용해 커스터마이즈드 GPT 생태계에서 26개의 고유한 공격 벡터를 규명하였으며, 모든 6개의 위협 카테고리가 포함됨.
• 이 중 19개의 공격 벡터는 실제 환경에서 (부분적으로) 실현 가능하며, 파일 업로드 및 네트워크 요청을 통한 데이터 유출 포함.
• 악성 커스터마이즈드 GPT는 대화 중 사용자 데이터를 도용함으로써 플랫폼의 데이터 격리 주장에 위배되는 방식으로 플랫폼 보장을 우회할 수 있음.
• 플랫폼은 적절한 데이터 분리를 제공하지 않아, GPT와 사용자 모두 민감한 시스템 프롬프트와 업로드된 파일에 액세스할 수 있음.
• 공개된 커스터마이즈드 GPT에서 악성 행동의 실례를 발견함. 예를 들어, 비인가된 데이터 수정 및 은밀한 데이터 전송.
• 연구는 실행 투명성, 액세스 제어, 안전한 아키텍처 분리(예: 하버드형 대비 폰 노이만형)와 같은 보안 중심 설계 원칙의 긴급한 필요성을 강조함.