[논문 리뷰] Understanding the Safety Requirements for Learning-based Power Systems Operations

Yize Chen, Daniel Arnold외 2명|arXiv (Cornell University)|2021. 10. 11.

Smart Grid Security and Resilience참고 문헌 26인용 수 4

한 줄 요약

이 논문은 최소한의 적대적 편향이 시스템 측정치에 가해질 경우 강화학습(RL)-기반 전력 시스템 운영에서 성능 저하와 운영 제약 위반을 초래할 수 있음을 보여줌으로써, RL 기반 전력 시스템 운영의 안전성과 견고성을 조사한다. 전압 조절 및 토폴로지 제어 작업에 대한 블랙박스 공격을 통해 저자들은 실제 전력 시스템 데이터를 기반으로 훈련된 RL 에이전트가 소량의 입력 편향에 매우 취약함을 입증하며, 이로 인해 안전하지 않은 전력 흐름과 불안정성이 발생함을 보여주며, 데이터 기반 그리드 제어 설계에 보안과 안전성을 통합할 필요성이 급박히 제기됨을 시사한다.

ABSTRACT

Recent advancements in machine learning and reinforcement learning have brought increased attention to their applicability in a range of decision-making tasks in the operations of power systems, such as short-term emergency control, Volt/VAr control, long-term residential demand response and battery energy management. Despite the promises of providing strong representation of complex system dynamics and fast, efficient learned operation strategies, the safety requirements of such learning paradigms are less discussed. This paper explores the design requirements on both data and model side of such learning algorithms by exploiting the impacts of adversarial attacks on safety critical system operations. Case studies performed on both voltage regulation and topology control tasks demonstrated the potential vulnerabilities of the standard reinforcement learning algorithms, and possible measures of machine learning robustness and security are discussed for power systems operation tasks.

연구 동기 및 목표

• 적대적 입력 편향 하에서 학습 기반 전력 시스템 운영의 안전성과 견고성에 대한 조사.
• 전압 조절 및 토폴로지 제어와 같은 실제 전력 시스템 작업에서 강화학습 에이전트의 취약성 평가.
• 모델 기반 안전 보장이 없는 데이터 기반 제어 시스템에서의 핵심 보안 격차 규명.
• 최소한의 공격자 지식을 가진 블랙박스 공격 전략을 사용하여 전력 시스템 운영의 적대적 견고성 평가 프레임워크 제안.
• 전력 시스템의 기계학습 기반 제어기 설계에 보안 및 안전 목표 통합 촉구.

제안 방법

• 최소한의 편향(≤5%)으로 시스템 상태 관측치(예: 부하 및 발전 프로파일)를 조작하여 RL 에이전트를 속이는 블랙박스 적대적 공격 전략 설계.
• 상태 추정 및 통신 네트워크 인터페이스를 활용해 모델 접근 없이 실시간 측정치에 적대적 노이즈를 주입.
• 전압 조절 및 토폴로지 제어 작업 모두에서 편향의 영향을 행동 출력 및 이후 전력 흐름 프로파일에 대해 평가.
• 쿼리 기반 최적화를 활용해 낮은 계산 오버헤드(단위 단계 평균 0.5초)로 적대적 예제 생성.
• 실제 그리드 동역학을 시뮬레이션하고 공격 효과를 검증하기 위해 공개 테스트베드인 L2RPN 및 IEEE 39-bus 시스템 활용.
• 재현 가능한 연구를 지원하기 위해 GitHub에 시뮬레이션 테스트베드 및 공격 예제 배포.

실험 결과

연구 질문

• RQ1 전력 시스템 운영에서 강화학습 기반 제어기의 입력 측정치에 대한 소량의 적대적 편향에 얼마나 취약한가?
• RQ2 전압 조절 및 토폴로지 제어 작업에서 RL 에이전트에 대한 적대적 공격의 물리적 결과는 무엇인가?
• RQ3 모델 접근 없이 최소한의 지식만을 가진 블랙박스 공격자가 훈련된 RL 에이전트를 불안정화하고 제약 위반을 유도할 수 있는가?
• RQ4 적대적 편향이 실제 전력 시스템 데이터를 기반으로 훈련된 RL 에이전트의 의사결정 과정과 행동 선택에 어떤 영향을 미치는가?
• RQ5 이러한 공격에 대비해 데이터 기반 전력 시스템 제어기의 견고성을 향상시키기 위해 필요한 설계 원칙과 보호 조치는 무엇인가?

주요 결과

• 부하 및 발전 프로파일에 대한 5% 이내의 적대적 편향이 훈련된 RL 에이전트의 무공진력 주입 결정을 최적 값에서 크게 이탈하게 했다.
• IEEE 39-bus 전압 조절 작업에서 적대적 공격로 인해 모델 기반 방법 대비 안전 운영 범위를 초과하는 전력 흐름 위반이 발생했다.
• L2RPN 테스트 케이스에서는 상위 행동 집합에 대해 유사한 Q-값이 존재해 RL 에이전트가 상태 위조에 특히 취약해졌으며, 이는 공격 성공 확률을 높였다.
• 블랙박스 공격는 단위 단계당 평균 0.5초 미만의 공격 벡터 계산 시간으로 RL 에이전트 행동을 효과적으로 조작했다.
• 연구는 최소한의 공격자 지식으로도 적대적 입력이 실시간 전력 시스템 운영에서 연쇄적 불안정성과 제약 위반을 유도할 수 있음을 입증했다.
• 결과적으로 현재의 RL 기반 제어기는 내재된 안전 보장이 없으며 데이터 수준의 조작에 취약함을 시사하며, AI 기반 그리드 운영에서 보안 중심 설계가 필수적임을 강조한다.