[논문 리뷰] Rag and Roll: An End-to-End Evaluation of Indirect Prompt Manipulations in LLM-based Application Frameworks

Gianluca De Stefano, Lea Schönherr외 1명|arXiv (Cornell University)|2024. 08. 09.

Software System Performance and Reliability인용 수 4

한 줄 요약

이 논문은 새로운 프레임워크인 Rag-n-Roll을 사용하여 Retrieval-Augmented Generation (RAG) 시스템에서 엔드 투 엔드 간접 프롬프트 조작 공격을 평가한다. 공격이 악성 문서 검색을 강화하는 데 대부분 효과적이지만, 최종 LLM 응답을 악성으로 유도하는 데에는 제한적이며, 명확한 공격의 경우 약 40%로 성공률가, 모호한 출력을 고려할 경우 60%로 상승함을 확인한다. 이는 검색 최적화를 넘어서 전체 파이프라인 수준에서의 종합적 보안 강화의 필요성을 시사한다.

ABSTRACT

Retrieval Augmented Generation (RAG) is a technique commonly used to equip models with out of distribution knowledge. This process involves collecting, indexing, retrieving, and providing information to an LLM for generating responses. Despite its growing popularity due to its flexibility and low cost, the security implications of RAG have not been extensively studied. The data for such systems are often collected from public sources, providing an attacker a gateway for indirect prompt injections to manipulate the responses of the model. In this paper, we investigate the security of RAG systems against end-to-end indirect prompt manipulations. First, we review existing RAG framework pipelines, deriving a prototypical architecture and identifying critical parameters. We then examine prior works searching for techniques that attackers can use to perform indirect prompt manipulations. Finally, we implemented Rag 'n Roll, a framework to determine the effectiveness of attacks against end-to-end RAG applications. Our results show that existing attacks are mostly optimized to boost the ranking of malicious documents during the retrieval phase. However, a higher rank does not immediately translate into a reliable attack. Most attacks, against various configurations, settle around a 40% success rate, which could rise to 60% when considering ambiguous answers as successful attacks (those that include the expected benign one as well). Additionally, when using unoptimized documents, attackers deploying two of them (or more) for a target query can achieve similar results as those using optimized ones. Finally, exploration of the configuration space of a RAG showed limited impact in thwarting the attacks, where the most successful combination severely undermines functionality.

연구 동기 및 목표

• 엔드 투 엔드 RAG 기반 애플리케이션 파이프라인에서 간접 프롬프트 삽입 공격의 실제 세계적 효과성을 조사하기 위해.
• 공격 성공 또는 내성에 영향을 줄 수 있는 RAG 시스템의 핵심 구성 매개변수를 규명하기 위해.
• 기존의 검색 순위 최적화를 위해 최적화된 공격이 엔드 투 엔드 RAG 시스템에서 최종 응답을 악성으로 유도하는 데 실제로 효과적인지 평가하기 위해.
• 지식 기반에 중복된 양성 데이터가 타당한 방어 수단이 될 수 있는지 탐색하기 위해.
• RAG 보안을 위한 체계적이고 자동화된 평가 프레임워크를 제공하여 공격 및 방어 전략의 재현 가능한 평가를 가능하게 하기 위해.

제안 방법

• 저자들은 일반적인 RAG 프레임워크 파이프라인을 역공학적으로 분석하여 핵심 구성 매개변수를 포함한 프로토타입 아키텍처를 도출하였다.
• Rag-n-Roll 프레임워크를 구현하여 공격 하에서 RAG 시스템의 엔드 투 엔드 평가를 자동화하였으며, 알려진 간접 프롬프트 조작 기법을 통합하였다.
• 프레임워크는 이전 연구를 바탕으로 악성 문서를 생성하고, 이를 지식 기반에 삽입한 후, 다양한 구성 설정에서 최종 LLM 응답에 미치는 영향을 평가한다.
• 임베딩 모델, 검색 방법, 재순서 전략 등의 매개변수를 변화시켜 RAG 시스템의 구성 공간을 체계적으로 탐색한다.
• 공격 성공률를 정량적으로 측정하기 위해, 양성 문서, 사용자 쿼리, 기대되는 출력을 담은 정제된 데이터셋을 사용한다.
• 공격 성공은 LLM이 악성 또는 모호한 응답을 생성하는지 여부로 측정되며, 양성 답변이 포함된 경우 모호한 응답도 성공으로 간주한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 RAG 시스템에서 간접 프롬프트 조작 공격이 최종 LLM 응답을 얼마나 성공적으로 악성으로 유도하는가?
• RQ2 공격의 효과성은 다양한 RAG 파이프라인 구성 설정 간에 어떻게 달라지는가?
• RQ3 지식 기반에 중복된 양성 데이터가 간접 프롬프트 삽입 공격의 성공률를 감소시킬 수 있는가?
• RQ4 최적화된 악성 문서와 비최적화된 문서 간의 공격 효과성은 어떻게 비교되는가?
• RQ5 임베딩 모델, 검색 방법, 재순서 전략 등의 RAG 구성 요소를 변화시켰을 때 공격 내성에 어떤 영향을 미치는가?

주요 결과

• 대부분의 간접 프롬프트 삽입 공격은 명확한 악성 응답만 성공으로 간주할 경우 약 40%의 성공률를 기록한다.
• 기대되는 양성 답변가 포함된 모호한 응답도 성공으로 간주할 경우 공격 성공률는 약 60%로 상승한다.
• 특히 단일 쿼리에 대해 두 개 이상의 악성 문서를 배포할 경우, 최적화된 문서와 비최적화된 문서 모두 유사한 성공률를 달 đạt할 수 있다.
• RAG 구성 매개변수의 체계적 탐색 결과, 공격 완화에 있어 제한적인 효과가 있었으며, 가장 내성적인 구성은 시스템의 기능성까지 심각하게 저해하는 것으로 나타났다.
• 지식 기반에 중복된 양성 데이터가 존재할 경우 공격 효과성이 감소하는 것으로 관찰되어, 경량이면서 타당한 방어 전략으로서의 가능성을 시사한다.
• 본 연구는 현재 공격가 주로 검색 순위 최적화를 위해 설계되어 있으며, 엔드 투 엔드 응답 유도를 위한 최적화는 아니며, 이는 공격의 정교함에 격차가 있으며, 향후 LLM 생성기와 같은 후행 컴포넌트를 겨냥한 향후 연구의 필요성을 시사한다.