[논문 리뷰] On the Security Vulnerabilities of Text-to-SQL Models

Xutan Peng, Yipeng Zhang외 2명|arXiv (Cornell University)|2022. 11. 28.

Web Application Security Vulnerabilities인용 수 4

한 줄 요약

이 논문은 상용 및 오픈소스 자연어처리 시스템의 텍스트-SQL 모델이 악성 조작된 자연어 입력을 통해 SQL 인젝션 및 서비스 거부 공격을 유도할 수 있음을 입증한다. 이는 성능 저하 없이 악성 SQL 생성에 100% 성공을 거둔 백도어 공격의 가능성을 보여주며, 실세계 AI 구현에서 심각한 보안 위험을 드러낸다.

ABSTRACT

Although it has been demonstrated that Natural Language Processing (NLP) algorithms are vulnerable to deliberate attacks, the question of whether such weaknesses can lead to software security threats is under-explored. To bridge this gap, we conducted vulnerability tests on Text-to-SQL systems that are commonly used to create natural language interfaces to databases. We showed that the Text-to-SQL modules within six commercial applications can be manipulated to produce malicious code, potentially leading to data breaches and Denial of Service attacks. This is the first demonstration that NLP models can be exploited as attack vectors in the wild. In addition, experiments using four open-source language models verified that straightforward backdoor attacks on Text-to-SQL systems achieve a 100% success rate without affecting their performance. The aim of this work is to draw the community's attention to potential software security issues associated with NLP algorithms and encourage exploration of methods to mitigate against them.

연구 동기 및 목표

• 실세계 응용 프로그램에서의 텍스트-SQL 모델이 데이터베이스 보안 유출의 공격 벡터로 악용될 수 있는지 조사하기 위해.
• 상용 및 오픈소스 텍스트-SQL 시스템에 대한 블랙박스 공격 및 백도어 공격의 실현 가능성을 평가하기 위해.
• 배포된 NLP 시스템의 취약점을 탐지하기 위한 실용적 프로토콜을 개발하기 위해.
• 연구 공동체가 실생산 환경에서 NLP 모델의 보안 위험에 대해 인식을 높이기 위해.
• NLP 기반 데이터베이스 인터페이스를 보호하기 위한 대응 전략 및 향후 연구 방향을 제안하기 위해.

제안 방법

• 악성 조작된 자연어 프롬프트를 사용해 상용 텍스트-SQL 애플리케이션 6종에 블랙박스 취약성 테스트를 수행하였다.
• BART 및 T5를 포함한 오픈소스 모델에 악성 패킷을 삽입하여 백도어를 유도하는 훈련 데이터를 설계하고 생성하였다.
• 오염된 데이터셋으로 훈련된 네 종류의 오픈소스 언어 모델을 활용해 추론 시 백도어 트리거의 효과를 평가하였다.
• 위험 최소화를 위해 생산 환경에서 수동 및 단일 호스트 보안 테스트를 수행하여 악용 가능성 검증을 실시하였다.
• 협력적 취약점 공개(CVD)를 통해 연구 결과를 책임감 있게 이해관계자에게 보고하였으며, 데이터 접근 또는 수정 없이 진행되었다.
• 표준 벤치마크 및 미리보지 않은 스키마에서의 모델 성능을 평가하여 백도어의 일반화 능력과 은폐성 여부를 분석하였다.

실험 결과

연구 질문

• RQ1 실세계 상용 텍스트-SQL 시스템이 자연어 입력을 통해 악성 SQL을 생성하도록 조작될 수 있는가?
• RQ2 성능 저하 또는 탐지 가능성 없이 백도어 공격가 텍스트-SQL 모델에 얼마나 깊이 삽입될 수 있는가?
• RQ3 생산 환경에서 이러한 취약점의 실질적 영향은 무엇인가, 특히 데이터 유출 및 서비스 장애와 관련하여?
• RQ4 기존 공격 전략이 다른 NLP 응용 프로그램과 비교해 텍스트-SQL 시스템 환경에서 얼마나 효과적인가?
• RQ5 NLP 기반 데이터베이스 인터페이스를 보호하기 위해 필요한 방어 기법 및 자동 탐지 도구는 무엇인가?

주요 결과

• BAIDU-UNIT 및 CHATGPT를 포함한 여섯 종류의 상용 텍스트-SQL 애플리케이션은 악성 SQL 생성을 통해 악성 공격를 유도되었으며, 이는 잠재적 데이터 유출 및 서비스 거부 공격를 초래할 수 있다.
• 상용 시스템에 대한 블랙박스 공격는 완전한 악용을 이끌었으며, BAIDU-UNIT의 취약점은 제조사에 의해 '매우 위험한'으로 확인되었고, 재정적 보상까지 수여되었다.
• BART 및 T5를 포함한 네 종류의 오픈소스 모델에 대한 백도어 공격는 추론 시 악성 소프트웨어 생성에 100% 성공했으며, 표준 벤치마크 성능에 영향을 주지 않았다.
• 오염된 훈련 데이터는 미리보지 않은 데이터베이스 스키마로의 일반화를 가능하게 하였으며, 은폐성 또한 유지되어 공급망 공격의 위험도가 높음을 시사한다.
• 모든 보고된 취약점은 책임감 있는 취약점 공개 방식으로 보고되었으며, 대부분의 제조사가 연구자들의 권고에 따라 문제를 수정하였다.
• 심지어 무관하거나 무해해 보이는 프롬프트조차도 악성 소프트웨어 생성을 유도할 수 있음을 발견하여, LLM 기반 코드 생성의 광범위한 위험을 시사한다.