[논문 리뷰] The Adversarial Resilience Learning Architecture for AI-based Modelling, Exploration, and Operation of Complex Cyber-Physical Systems

Eric MSP Veith, Nils Wenninghoff외 1명|arXiv (Cornell University)|2020. 05. 27.

Adversarial Robustness in Machine Learning참고 문헌 34인용 수 4

한 줄 요약

이 논문은 전력망과 같은 복잡한 사이버-물리 시스템(CPS)의 내성 향상을 위해 공격자와 방어자로 구성된 경쟁적 딥 강화학습(DRL) 에이전트를 활용하는 새로운 AI 기반 프레임워크인 공격에 대한 내성 학습(ARL)을 제안한다. 캡처더플래그(CTF)-유사 대회에서 ARL은 공격 벡터를 성공적으로 식별하고 내성적인 운영 전략을 생성하여, 다양한 DRL 알고리즘을 사용해 복잡한 CPS 제어 시스템의 테스트 및 훈련을 위한 벤치마크로의 가능성을 입증하였다.

ABSTRACT

Modern algorithms in the domain of Deep Reinforcement Learning (DRL) demonstrated remarkable successes; most widely known are those in game-based scenarios, from ATARI video games to Go and the StarCraft~ extsc{II} real-time strategy game. However, applications in the domain of modern Cyber-Physical Systems (CPS) that take advantage a vast variety of DRL algorithms are few. We assume that the benefits would be considerable: Modern CPS have become increasingly complex and evolved beyond traditional methods of modelling and analysis. At the same time, these CPS are confronted with an increasing amount of stochastic inputs, from volatile energy sources in power grids to broad user participation stemming from markets. Approaches of system modelling that use techniques from the domain of Artificial Intelligence (AI) do not focus on analysis and operation. In this paper, we describe the concept of Adversarial Resilience Learning (ARL) that formulates a new approach to complex environment checking and resilient operation: It defines two agent classes, attacker and defender agents. The quintessence of ARL lies in both agents exploring the system and training each other without any domain knowledge. Here, we introduce the ARL software architecture that allows to use a wide range of model-free as well as model-based DRL-based algorithms, and document results of concrete experiment runs on a complex power grid.

연구 동기 및 목표

• 복잡한 사이버-물리 시스템(CPS)의 전체 시스템 테스트 및 내성적인 운영을 위한 종합적이고 AI 기반의 방법론이 부족한 문제를 해결하기 위해.
• AI를 제어를 넘어선 체계적 탐색, 취약성 탐지 및 내성 훈련에 활용하는 데 있어 연구 격차를 메우기 위해.
• 다양한 모델리스 및 모델기반 DRL 알고리즘을 적응형 환경에서 사용할 수 있도록 하는 도메인 독립적이고 소프트웨어 아키텍처 기반의 프레임워크를 개발하기 위해.
• 실제 복잡한 CPS 시나리오, 예를 들어 전력망과 같은 환경에서 DRL 알고리즘의 평가 및 비교를 위한 벤치마크 환경을 제공하기 위해.

제안 방법

• ARL 프레임워크는 시뮬레이션된 CPS 환경 내에서 경쟁적이고 공진화적으로 작동하는 두 개의 독립적 DRL 에이전트—공격자 및 방어자—를 활용한다.
• 공격자 에이전트는 시스템의 취약성을 탐색하고 상호의존성을 악용하기 위해 작동하는 반면, 방어자 에이전트는 공격에 대응하고 시스템 안정성을 유지하기 위해 학습한다.
• 아키텍처는 다양한 DRL 알고리즘, 예를 들어 딥 Q 네트워크(DQN), 레인보우 DQN, 이점 액터-크리틱(A2C), MuZero 등을 통합할 수 있도록 지원하여 비교 분석을 가능하게 한다.
• 시스템 상태는 센서 및 액추에이터 데이터를 통해 표현되며, 행동은 발전기 및 제어 가능한 부하에 대한 제어 결정로 매핑된다.
• 에이전트들이 시스템 구성 요소를 확보하기 위해 경쟁하는 캡처더플래그(CTF)-유사 대회 설정을 사용하며, 결과는 다수의 실행 평균화된다.
• 소프트웨어 아키텍처는 재현 가능성과 모ularity를 보장하여 다양한 DRL 알고리즘과 시스템 모델의 플러그인을 가능하게 한다.

실험 결과

연구 질문

• RQ1 사전 도메인 지식 없이도 공격적 DRL 에이전트가 복잡한 사이버-물리 시스템 내 숨겨진 취약성과 상호의존성을 효과적으로 드러내는가?
• RQ2 실제 CPS, 예를 들어 전력망과 같은 환경에 적용했을 때, 다양한 DRL 알고리즘이 공격적 환경에서 어떻게 성능을 발휘하는가?
• RQ3 적응형 공격자와의 공진화 과정을 통해 방어자 에이전트가 얼마나 효과적으로 내성적인 운영 전략을 학습하는가?
• RQ4 ARL 프레임워크가 실생활에서 복잡한 CPS 시나리오에 적용되는 DRL 기반 제어 및 분석 방법의 평가 및 비교를 위한 확장 가능한 벤치마크로 기능할 수 있는가?
• RQ5 공격자 및 방어자 에이전트의 행동이 실제 운영자 행동과 시스템 관련 노드 우선순위화 방식을 얼마나 잘 반영하는가?

주요 결과

• 공격자 에이전트는 네트워크 구조도 사전에 알지 못한 상태에서 시스템의 약점을 성공적으로 식별하고 악용하여, DRL 훈련 과정에서 공격 전략이 자연스럽게 유도될 수 있음을 확인하였다.
• 방어자 에이전트는 전문 운영자 행동과 일치하는 방식으로 시스템 핵심 발전기 및 부하 제어를 우선순위로 삼아 내성적인 전략을 효과적으로 구현하였다.
• ARL 프레임워크는 레인보우 DQN, A2C, MuZero를 포함한 다양한 DRL 알고리즘을 통합된 재현 가능한 아키텍처에서 CPS 분석에 활용할 수 있도록 하였다.
• 공격자들은 노드 간 동시성 효과를 활용해 최대한의 혼란을 유도하였으며, 이는 시스템 취약성에서 시간적 조율의 중요성을 강조한다.
• 대회 전체에 걸친 평균 행동 분포는 공격자가 고영향도 노드를 효과적으로 악용하는 반면, 방어자는 핵심 인프라 구성 요소에 집중함을 확인하였다.
• 결과적으로 ARL은 복잡한 CPS, 특히 전력망에서 훈련 데이터 생성, 결함 탐지 및 내성 향상에 실용적이고 효과적인 프레임워크로 검증되었다.