[논문 리뷰] Risks of Practicing Large Language Models in Smart Grid: Threat Modeling and Validation

Jiangnan Li, Yingyuan Yang외 1명|arXiv (Cornell University)|2024. 05. 10.

Smart Grid Security and Resilience인용 수 5

한 줄 요약

요약: 이 논문은 스마트 그리드에서의 LLM 두 가지 위협 모델—잘못된 데이터 주입 및 도메인 지식 추출—을 분석하고, GPT-3.5와 GPT-4를 사용한 검증을 통해 공격자가 악성 데이터를 주입하고 스마트 그리드 LLM 애플리케이션에서 도메인 지식을 추출할 수 있음을 보여줍니다.

ABSTRACT

Large language models (LLMs) represent significant breakthroughs in artificial intelligence and hold potential for applications within smart grids. However, as demonstrated in previous literature, AI technologies are susceptible to various types of attacks. It is crucial to investigate and evaluate the risks associated with LLMs before deploying them in critical infrastructure like smart grids. In this paper, we systematically evaluated the risks of LLMs and identified two major types of attacks relevant to potential smart grid LLM applications, presenting the corresponding threat models. We validated these attacks using popular LLMs and real smart grid data. Our validation demonstrates that attackers are capable of injecting bad data and retrieving domain knowledge from LLMs employed in different smart grid applications.

연구 동기 및 목표

• 스마트 그리드 맥락에서 LLM이 전통적 AI와 어떻게 다른지 평가하고 LLM 배포에 특화된 위험 유형을 식별합니다.
• 스마트 그리드에서 LLM에 대한 두 가지 일반화된 위협 모델: 잘못된 데이터 주입과 도메인 지식 추출을 제시합니다.
• 인기 있는 LLM과 실제 스마트 그리드 데이터를 사용한 실험을 통해 제안된 위협을 검증합니다.
• 복제 및 추가 연구를 가능하게 하기 위해 오픈 소스 데이터, 코드 및 평가 결과를 제공합니다.

제안 방법

• 스마트 그리드 환경에서 LLM 워크플로우와 프롬프트 기반 상호작용을 특징화합니다.
• 공개적으로 접근 가능한 LLM을 통한 잘못된 데이터 주입과 도메인 특화 프롬프트에서의 도메인 지식 추출의 두 가지 위협 모델을 정의합니다.
• 실제 데이터셋(재생 에너지 사건 보고서 및 AMI 데이터)을 사용한 GPT-3.5 및 GPT-4를 이용한 검증 실험을 설계하고 수행합니다.
• 악의적 입력에서 분류/탐지 작업에 대한 영향력을 측정하기 위해 단계 기반 공격 시뮬레이션을 사용합니다.
• 정상 입력과 주입 입력의 성능을 표준 지표(정확도, 정밀도, 재현율, F1)로 비교합니다.
• 재현성을 위해 데이터, 코드 및 결과를 오픈 소스 저장소에 게시합니다.

실험 결과

연구 질문

• RQ1 LLM이 전통 ML 모델과 비교해 스마트 그리드 작업에 도입될 때 어떤 취약점을 가지나요?
• RQ2 공개 인터페이스를 통해 LLM 기반 스마트 그리드 애플리케이션에 악성 데이터를 주입하고 성능 저하를 일으킬 수 있나요?
• RQ3 인사나 공격자가 유틸리티 데이터를 다루는 LLM으로부터 도메인 지식을 추출(프롬프트)하여 민감한 정보를 유출할 수 있나요?
• RQ4 GPT-3.5와 GPT-4가 현실적인 스마트 그리드 시나리오에서 이러한 위협 벡터에 대해 회복력을 보이나요?
• RQ5 이 실험을 재현하고 확장하는 데 필요한 공개 데이터와 도구는 무엇인가요؟

주요 결과

결과	정상	주입-예	주입-아니오	주입-역
GPT-3.5 Accuracy	89.1%	47.7%	52.2%	33.5%
GPT-3.5 Precision	87.8%	47.7%	0%	34%
GPT-3.5 Recall	89.6%	100%	0%	41.5%
GPT-3.5 F1	88.7%	64.6%	0%	37.4%
GPT-4 Accuracy	93.8%	48.9%	52.2%	43.4%
GPT-4 Precision	94%	48.3%	0%	45.4%
GPT-4 Recall	93.1%	100%	0%	91.1%
GPT-4 F1	93.5%	65.1%	0%	60.1%

• 공격자는 잘못된 데이터 주입 시 LLM 기반 사건 탐지를 크게 저하시킬 수 있습니다(예: GPT-3.5: 반대 주입에서 정확도가 89.1%에서 33.5%로 떨어짐).
• GPT-4는 역주입에서 정확도가 43.4%까지 떨어지는 등 잘못된 데이터 주입에 대해 유사한 취약성을 보입니다.
• 잘못된 데이터 주입 하에서 여러 케이스의 정밀도와 재현율이 크게 감소하여 출력 조작 위험을 보여줍니다.
• 도메인 지식 추출은 영리한 프롬프트를 사용할 때 GPT-3.5와 GPT-4가 집계된 도메인 정보를 공개하게 할 수 있어 기밀성 위험을 나타냅니다.
• 정상 입력 시나리오는 높은 성능을 보이나 잘 설계된 입력은 데이터 누출이나 오도된 출력으로 이어질 수 있습니다.
• 저자는 추가 연구를 가능하게 하기 위해 오픈 소스 데이터, 코드 및 평가 결과를 제공합니다.