[논문 리뷰] From Prompt Injections to SQL Injection Attacks: How Protected is Your LLM-Integrated Web Application?

Rodrigo Pedro, Daniel Castro외 2명|arXiv (Cornell University)|2023. 08. 03.

Web Application Security Vulnerabilities인용 수 17

한 줄 요약

이 논문은 Langchain 기반 LLM 통합 웹 앱에서의 prompt-to-SQL(P2SQL) 주입을 정의하고, 일곱 개의 LLM에 걸친 공격 변형을 분석하며, 네 가지 방어 확장을 제안하고 실제 세계 평가를 수행한다.

ABSTRACT

Large Language Models (LLMs) have found widespread applications in various domains, including web applications, where they facilitate human interaction via chatbots with natural language interfaces. Internally, aided by an LLM-integration middleware such as Langchain, user prompts are translated into SQL queries used by the LLM to provide meaningful responses to users. However, unsanitized user prompts can lead to SQL injection attacks, potentially compromising the security of the database. Despite the growing interest in prompt injection vulnerabilities targeting LLMs, the specific risks of generating SQL injection attacks through prompt injections have not been extensively studied. In this paper, we present a comprehensive examination of prompt-to-SQL (P$_2$SQL) injections targeting web applications based on the Langchain framework. Using Langchain as our case study, we characterize P$_2$SQL injections, exploring their variants and impact on application security through multiple concrete examples. Furthermore, we evaluate 7 state-of-the-art LLMs, demonstrating the pervasiveness of P$_2$SQL attacks across language models. Our findings indicate that LLM-integrated applications based on Langchain are highly susceptible to P$_2$SQL injection attacks, warranting the adoption of robust defenses. To counter these attacks, we propose four effective defense techniques that can be integrated as extensions to the Langchain framework. We validate the defenses through an experimental evaluation with a real-world use case application.

연구 동기 및 목표

• Langchain 기반 웹 애플리케이션을 대상으로 하는 P2SQL 주입의 변형을 특징화한다.
• 다양한 LLM이 P2SQL 공격의 타당성과 영향에 미치는 영향을 평가한다.
• P2SQL 위협을 완화하기 위해 Langchain 확장으로 통합된 방어책을 제안하고 예비적으로 평가한다.

제안 방법

• 주입 지점을 식별하기 위해 Langchain의 SQLDatabaseChain/SQLDatabaseAgent 처리 과정을 설명한다.
• 위협 모델을 정의하고 대표적인 7가지 P2SQL 공격 시나리오를 구성한다(무제한 프롬프트와 제한된 프롬프트, 직접적 및 간접적).
• GPT-3.5-turbo-0301 및 추가 모델을 사용하여 다양한 프롬프트와 구성에서 공격을 실험적으로 평가한다.
• 데이터베이스 권한 강화, SQL 쿼리 재작성, 보조 LLM 검증, 프롬프트 내 데이터 프리로딩의 네 가지 Langchain 확장을 개발한다.
• PostgreSQL 백엔드를 갖춘 실제 사용 사례 웹 애플리케이션에서 방어를 검증한다.

실험 결과

연구 질문

• RQ1 RQ1: Langchain 기반 웹 애플리케이션을 겨냥할 수 있는 P2SQL 주입 변형은 무엇이며, 그 보안 영향은 무엇인가?
• RQ2 RQ2: LLM의 선택이 Langchain 구현(SQL 체인 대 SQL 에이전트) 전반에서 P2SQL 공격의 실행 가능성과 성공에 얼마나 영향을 미치는가?
• RQ3 RQ3: 합리적인 성능 오버헤드를 갖고 P2SQL 공격을 효과적으로 완화할 수 있는 방어책은 무엇인가?

주요 결과

• 테스트된 모든 LLM에 걸쳐, Langchain 기반 LLM-통합 애플리케이션은 P2SQL 주입에 매우 취약하다.
• 무제한 기본 Langchain 프롬프트는 임의의 SQL 쿼리를 허용하여 전체 데이터베이스를 읽거나 쓸 수 있다.
• 프롬프트 제한은 우회될 수 있으며, 데이터 페이로드에 포함된 프롬프트를 통한 간접 공격이 응답을 조작할 수 있다.
• SQL 에이전트는 SQL 체인보다 더 복잡하고 다단계인 P2SQL 공격을 가능하게 한다.
• 네 가지 방어책(데이터베이스 권한 강화, SQL 쿼리 재작성, 보조 LLM 검증, 프롬프트 내 데이터 프리로딩)은 합리적인 오버헤드로 위험을 감소시킨다.
• 실제 사용 사례에 대한 평가에서 실질적 효과가 입증되나, 방어의 자동화 및 투명성은 추가 작업이 필요하다.