[논문 리뷰] A Dynamic Watermarking Algorithm for Finite Markov Decision Problems

Jiacheng Tang, Jiguo Song외 1명|ArXiv.org|2021. 11. 09.

Smart Grid Security and Resilience참고 문헌 29인용 수 4

한 줄 요약

이 논문은 제어 시스템에서 위조 및 기만 공격에 대한 보안성을 향상시키기 위해 유한한 마르코프 결정 과정(MDP)에 대한 동적 워터마킹 알고리즘을 제안한다. 랜덤화된 제어 정책 변경을 통한 방법으로, CUSUM 기반의 손상된 피드백 채널 탐지가 가능하며, 탐지 지연과 오진률에 대한 이론적 경계를 제공한다. 센서 네트워크의 전력 관리 사례 연구를 통해 보안성과 제어 성능 간의 트레이드오프를 검증하였다.

ABSTRACT

Dynamic watermarking, as an active intrusion detection technique, can potentially detect replay attacks, spoofing attacks, and deception attacks in the feedback channel for control systems. In this paper, we develop a novel dynamic watermarking algorithm for finite-state finite-action Markov decision processes and present upper bounds on the mean time between false alarms, and the mean delay between the time an attack occurs and when it is detected. We further compute the sensitivity of the performance of the control system as a function of the watermark. We demonstrate the effectiveness of the proposed dynamic watermarking algorithm by detecting a spoofing attack in a sensor network system.

연구 동기 및 목표

• 자율 주행차와 사이버-물리 시스템(CPS)에서 증가하는 센서 기반 사이버 공격의 위협을 다루기 위해, 특히 시스템의 안전성과 신뢰성을 손상시키는 위조 및 기만 공격에 대응한다.
• 이전에 선형 시스템에서 연구된 바 있는 동적 워터마킹을 유한 상태, 유한 행동 마르코프 결정 과정(MDP)으로 확장하여 더 추상적이고 비선형적인 제어 환경에서도 탐지를 가능하게 한다.
• 제안된 워터마킹 기법이 MDP에서 탐지 지연과 오진률에 대해 이론적으로 유도된 성능 경계를 수립한다.
• 워터마킹 주입으로 인한 시스템 보안(공격 탐지)과 제어 성능(제어 손실) 간의 트레이드오프를 정량화한다.
• 실제 응용 사례로, 위조 공격 조건 하에서 센서 네트워크 전력 관리 시스템에 적용하여 접근법을 검증한다.

제안 방법

• 행동 선택 과정에 무작위 변동을 주입하여 MDP 내 제어 정책을 수정하는 동적 워터마킹 메커니즘을 도입한다.
• 워터마킹의 알려진 통계적 성질을 활용하여 기대값과 관측값 간 잔차 신호를 모니터링하기 위해 CUSUM 유형의 탐지 기법을 사용한다.
• MDP 과정의 확률적 안정성과 혼합 성질을 이용하여 평균 오진 간격과 평균 탐지 지연에 대한 이론적 상한을 유도한다.
• 잠재 상태, 관측값, 행동 과정을 포함하는 부분 관측 MDP로 시스템을 모델링하고, 공동 상태-행동-관측 과정을 사용하여 탐지 성능을 분석한다.
• 워터마킹을 센서 네트워크 전력 관리 시스템에 적용하여 위조 공격 시뮬레이션을 통해 탐지 성능과 제어 손실을 평가한다.
• 관측 과정의 정적 분포와 경험 빈도 추정기를 사용하여 점점 더 큰 조건에서 일관된 탐지를 보장한다.

실험 결과

연구 질문

• RQ1 유한한 상태와 행동을 가진 유한한 마르코프 결정 과정(MDP)에 대해 동적 워터마킹을 어떻게 적용할 수 있는가?
• RQ2 제안된 워터마킹 기법이 MDP에서 평균 오진 간격과 평균 탐지 지연에 대해 이론적으로 유도된 상한은 무엇인가?
• RQ3 워터마킹의 크기가 공격 상황에서 제어 성능과 시스템 안정성에 미치는 영향는 어떠한가?
• RQ4 제안된 방법은 실세계 센서 네트워크 시스템에서 공격 탐지를 보장하는 성능 보증을 제공할 수 있는가?
• RQ5 MDP 기반 제어 시스템에 동적 워터마킹을 도입할 경우 탐지 민감도와 제어 손실 간의 트레이드오프는 어떠한가?

주요 결과

• 제안된 동적 워터마킹 알고리즘은 평균 오진 간격과 평균 탐지 지연에 대해 증명 가능한 상한을 달성하여 MDP에서 신뢰할 수 있는 공격 탐지를 보장한다.
• 센서 네트워크 전력 관리 시스템에서 위조 공격 탐지에 효과적이며, 공격 발생 후 일정한 시간 창 내에서 탐지가 이루어진다.
• 탐지 성능과 제어 손실 간의 트레이드오프가 관찰된다: 더 큰 워터마킹 크기는 탐지 속도를 향상시키지만 최적 행동에서의 제어 편차를 증가시킨다.
• 이론적 분석을 통해 탐지 과정이 확률적으로 안정적이며, 정상 및 공격 조건 하에서 CUSUM 탐지기가 올바른 결정으로 수렴함을 확인하였다.
• 관측 과정의 정적 분포가 시간이 지남에 따라 일관되게 추정됨을 입증하여, 신뢰할 수 있는 공분산 기반 이상 탐지가 가능함을 보였다.
• 성능 경계는 MDP 과정의 혼합 성질과 에르고딕성에 기반하여 유도되었으며, 모델 불확실성 하에서도 강건함을 보장한다.