[논문 리뷰] Adversarial Resilience Learning - Towards Systemic Vulnerability Analysis for Large and Complex Systems

Lars Fischer, Jan-Menno Memmen외 2명|arXiv (Cornell University)|2018. 11. 15.

Adversarial Robustness in Machine Learning참고 문헌 29인용 수 13

한 줄 요약

이 논문은 전력망과 같은 복잡한 시스템에서 적대적 공격자와 방어자를 모델링하기 위해 신경망 에이전트를 사용하는 강화학습 기반 프레임워크인 적대적 내성 학습(ARL)을 소개한다. 공동 시뮬레이션 환경 내에서 경쟁적이고 자기 향상하는 에이전트를 시뮬레이션함으로써 ARL은 반복 가능하고 적응 가능한 테스트를 가능하게 하여 새로운 공격 벡터를 밝혀내고 체계적 내성 능력을 향상시키는 구조적 적대적 훈련을 실현한다.

ABSTRACT

This paper introduces Adversarial Resilience Learning (ARL), a concept to model, train, and analyze artificial neural networks as representations of competitive agents in highly complex systems. In our examples, the agents normally take the roles of attackers or defenders that aim at worsening or improving-or keeping, respectively-defined performance indicators of the system. Our concept provides adaptive, repeatable, actor-based testing with a chance of detecting previously unknown attack vectors. We provide the constitutive nomenclature of ARL and, based on it, the description of experimental setups and results of a preliminary implementation of ARL in simulated power systems.

연구 동기 및 목표

• 지능적이고 적응적인 적대자에 대비하여 대규모 복잡 시스템의 내성 능력을 시스템적이고 재현 가능한 방법으로 테스트하는 데 목적이 있다.
• 기존의 정적 또는 인간에 의존하는 공격 모델에 의존하는 전통적 취약성 테스트의 한계를 해결하는 데 목적이 있다.
• 인공 신경망을 사용한 적응적이고 액터 기반의 테스트를 통해 이전에 알려지지 않은 공격 벡터를 발견하는 데 목적이 있다.
• 구조적 비대칭성을 정량화하고 핵심 제어 지점을 특정함으로써 시스템 설계 및 보안 정책을 향상시키는 데 목적이 있다.
• 고립된 구성 요소를 넘어서 상호의존적인 시스템-오브-시스템, 즉 ICT와 전력 시스템 간 상호작용을 포함한 내성 분석을 확장하는 데 목적이 있다.

제안 방법

• 강화학습 기반의 깊이 있는 강화학습(DRL)을 사용하여 공격자와 방어자 간의 대립 목표를 가진 인공 신경망(ANN)을 자율 에이전트로 훈련한다.
• 모사익스프레션(mosaik) 공통 시뮬레이션 프레임워크에 ANN을 통합하여 실제 전력 시스템 모델과 상호작용하게 하여 동적이고 실시간 피드백을 가능하게 한다.
• 시스템 성능 지표(예: 방어자는 평균 전압, 공격자는 역수 평균 전압)를 기반으로 보상 함수를 정의하여 에이전트 행동을 유도한다.
• 순환적이고 경쟁적인 훈련을 적용하여 각 에이전트의 행동이 시스템 상태를 변화시키고, 다른 에이전트가 이를 적응하도록 유도함으로써 동적 학습 경쟁을 만든다.
• 생성적 적대적 네트워크(GAN)와 유사한 적대적 훈련을 적용하지만, 에이전트 간에 복잡한 물리 시스템 시뮬레이션을 삽입하여 상호작용하게 한다.
• 제어 노력 또는 시스템 손상과 같은 현실적인 제약 조건을 모델링하기 위해 비용 지표를 도입하여 공격의 가능성과 구조적 취약점을 분석할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 강화학습을 사용하여 복잡한 시스템에서 적응적이고 반복 가능하며 자기 향상하는 공격자 및 방어자 에이전트를 구축할 수 있는가?
• RQ2 실시간으로 동작하는 동적 시스템 시뮬레이션(예: 전력망)을 포함할 경우, 적대적 에이전트의 학습과 행동에 어떤 영향을 미치는가?
• RQ3 ARL은 기존의 전통적 취약성 테스트로는 탐지할 수 없었던 새로운 공격 벡터를 얼마나 잘 밝혀낼 수 있는가?
• RQ4 시스템 설계의 구조적 비대칭성은 어떻게 정량화하고, 이를 적대적 훈련을 통해 내성 능력을 향상시키는 데 어떻게 활용할 수 있는가?
• RQ5 ARL은 전력 및 ICT를 포함한 다분야 상호의존 시스템으로 확장되어 복잡하고 조율된 공격을 모델링할 수 있는가?

주요 결과

• ARL 개념 검증 시범 시스템은 공격자 및 방어자 에이전트를 성공적으로 훈련시켰으며, 평균 전압을 측정 기준으로 삼아 적응적이고 경쟁적인 행동을 통해 시스템 성능에 영향을 미치는 것을 확인했다.
• 방어자 에이전트는 훈련 단계를 거치며 누적 보상이 증가하는 경향을 보였으며, 이는 공격적 압력 하에서도 시스템 안정성을 유지하는 능력이 향상되었음을 시사한다.
• 공격자 에이전트는 제어 입력을 조작하여 시스템 성능을 악화시키는 방식으로 비트리비얼한 공격 전략을 학습함으로써, 복잡한 공격 전략을 탐지할 수 있음을 입증했다.
• 모의 공격 후 복구 과정에서 시스템의 내성 능력 향상이 측정되었으며, 이는 ARL이 내성 생애 주기(계획, 흡수, 복구, 적응)를 모두 모델링할 수 있음을 뒷받침하는 가설을 지지한다.
• 공동 시뮬레이션 프레임워크는 에이전트와 물리 시스템 간의 현실적인 상호작용을 가능하게 하여, ARL이 대규모 복잡한 인프라에 적용 가능한 타당성을 입증했다.
• 결과적으로 ARL는 공격자가 확보할 수 있는 최대 제어력과 같은 위협 관련 지표를 추정할 수 있음을 시사하며, 이는 더 나은 리스크 완화 및 보안 지침 설계를 지원한다.