[논문 리뷰] Mapping LLM Security Landscapes: A Comprehensive Stakeholder Risk Assessment Proposal

Rahul Pankajakshan, Sumitra Biswal외 2명|arXiv (Cornell University)|2024. 03. 20.

Big Data and Business Intelligence인용 수 7

한 줄 요약

본 논문은 LLM 보안을 위한 OWASP 기반 위험 평가 프로세스를 제안하며, 시나리오 분석, 종속성 매핑 및 영향 분석을 결합하여 이해관계자 중심의 위협 매트릭스를 생성하고, 대학 사례를 통해 시연한다.

ABSTRACT

The rapid integration of Large Language Models (LLMs) across diverse sectors has marked a transformative era, showcasing remarkable capabilities in text generation and problem-solving tasks. However, this technological advancement is accompanied by significant risks and vulnerabilities. Despite ongoing security enhancements, attackers persistently exploit these weaknesses, casting doubts on the overall trustworthiness of LLMs. Compounding the issue, organisations are deploying LLM-integrated systems without understanding the severity of potential consequences. Existing studies by OWASP and MITRE offer a general overview of threats and vulnerabilities but lack a method for directly and succinctly analysing the risks for security practitioners, developers, and key decision-makers who are working with this novel technology. To address this gap, we propose a risk assessment process using tools like the OWASP risk rating methodology which is used for traditional systems. We conduct scenario analysis to identify potential threat agents and map the dependent system components against vulnerability factors. Through this analysis, we assess the likelihood of a cyberattack. Subsequently, we conduct a thorough impact analysis to derive a comprehensive threat matrix. We also map threats against three key stakeholder groups: developers engaged in model fine-tuning, application developers utilizing third-party APIs, and end users. The proposed threat matrix provides a holistic evaluation of LLM-related risks, enabling stakeholders to make informed decisions for effective mitigation strategies. Our outlined process serves as an actionable and comprehensive tool for security practitioners, offering insights for resource management and enhancing the overall system security.

연구 동기 및 목표

• 진화하는 보안 위협으로 인해 LLM 기반 시스템에서 구조화된 위험 평가의 필요성을 제고한다.
• LLM 특화 위험에 OWASP Risk Rating Methodology를 적응 및 적용한다.
• 가능성 및 영향 추정을 위한 시나리오 기반의 반정량적 프로세스를 개발한다.
• 완화 및 자원 배분을 안내하기 위한 이해관계자 중심의 위협 매트릭스를 만든다.
• 가상의 대학 가상 비서 사용 사례를 통해 프레임워크를 시연한다.

제안 방법

• OWASP risk rating 방법론을 활용하여 위험을 Likelihood × Impact로 계산한다.
• 위협 주체, 동기, 기술, 기회를 정의하여 시나리오 분석을 수행한다.
• 종속 시스템 구성요소를 취약성 요인에 대해 매핑하여 가능성을 도출한다.
• 기술적 및 비즈니스 결과를 포함하는 영향 분석을 수행한다.
• 세 이해관계자 그룹(LLM 미세 조정, API 통합, 최종 사용자)에 맞춘 위협 매트릭스로 결과를 집계한다.
• 워크플로우 및 완화 가이드를 보여주기 위한 예시 사용 사례를 제공한다.

Figure 1: The system design of the university virtual assistant emphasizes the diverse security measures implemented for each component. An authenticated user’s prompt undergoes optimization and validation/filtering for prompt injection within the prompt optimization module. Contextual information f

실험 결과

연구 질문

• RQ1 OWASP risk rating 방법론을 LLM 특화 위협 평가에 어떻게 적응할 수 있는가?
• RQ2 LLM 기반 시스템에 대한 공격 가능성을 추정하기 위해 종속성 매핑과 시나리오 분석을 어떻게 통합할 수 있는가?
• RQ3 LLM 보안을 위한 이해관계자 중심의 위협 매트릭스는 무엇으로 구성되며, 어떻게 완화 전략에 정보를 제공할 수 있는가?
• RQ4 대학 사용 사례가 LLM 배치에서 자원 할당 및 보안 성숙도에 대해 어떤 시사점을 제공하는가?

주요 결과

• LLM 용 구조화된 위협 매트릭스는 실행 가능하며, 이해관계자 그룹 전반에서 완화책의 우선순위를 정하는 데 실무자들을 돕는다.
• 제안된 3단계 위험 분석(시나리오 분석, 종속성 매핑, 영향 분석)은 OWASP 지침에 맞춘 반정량적 위험 등급을 산출한다.
• 매트릭스는 전통적 사이버보안 위험과 프롬프트 주입(prompt injection) 및 모델 조작과 같은 LLM 특화 위협을 구분한다.
• 사용 사례는 위험 등급이 실무적 배치에서 자원 관리 및 보안 개선을 어떻게 이끌 수 있는지 보여준다.