[论文解读] A Dynamic Watermarking Algorithm for Finite Markov Decision Problems

Jiacheng Tang, Jiguo Song+1 more|ArXiv.org|Nov 9, 2021

Smart Grid Security and Resilience参考文献 29被引用 4

一句话总结

该论文提出了一种针对有限马尔可夫决策过程（MDPs）的动态水印算法，以增强控制系统在欺骗和伪装攻击下的安全性。通过注入随机化的控制策略变化，该方法实现了基于CUSUM的受损反馈信道检测，理论分析给出了检测延迟和误报率的上界，并通过一个传感器网络电源管理案例研究验证了安全性与控制性能之间的权衡。

ABSTRACT

Dynamic watermarking, as an active intrusion detection technique, can potentially detect replay attacks, spoofing attacks, and deception attacks in the feedback channel for control systems. In this paper, we develop a novel dynamic watermarking algorithm for finite-state finite-action Markov decision processes and present upper bounds on the mean time between false alarms, and the mean delay between the time an attack occurs and when it is detected. We further compute the sensitivity of the performance of the control system as a function of the watermark. We demonstrate the effectiveness of the proposed dynamic watermarking algorithm by detecting a spoofing attack in a sensor network system.

研究动机与目标

• 为应对自动驾驶汽车和网络物理系统（CPS）中日益增长的基于传感器的网络攻击威胁，特别是破坏系统安全性和可靠性的伪装和欺骗攻击。
• 将此前仅在线性系统中研究的动态水印技术，拓展至有限状态、有限动作的马尔可夫决策过程（MDPs），以实现在更抽象、非线性控制环境中的攻击检测。
• 为所提出的MDP水印方案建立检测延迟和误报率的理论性能上界。
• 量化由于水印注入而引起的系统安全性（攻击检测）与控制性能（控制损失）之间的权衡。
• 通过在传感器网络电源管理系统中模拟伪装攻击条件下的真实应用场景，验证该方法的有效性。

提出的方法

• 提出一种动态水印机制，通过在动作选择过程中注入随机扰动，对MDP中的控制策略进行修改。
• 采用CUSUM型检测方案，监控期望与观测到的传感器测量值之间的残差信号，利用水印已知的统计特性。
• 基于MDP过程的随机稳定性和混合特性，推导出平均误报间隔时间和平均检测延迟的理论上限。
• 将系统建模为具有隐状态、观测和动作过程的不完全观测MDP，并利用联合状态-动作-观测过程分析检测性能。
• 将水印技术应用于传感器网络电源管理系统，模拟伪装攻击以评估检测性能和控制损失。
• 利用观测过程的平稳分布和经验频率估计器，确保在渐近条件下检测的一致性。

实验结果

研究问题

• RQ1 如何将动态水印技术适配于具有离散状态和动作的有限马尔可夫决策过程（MDPs）？
• RQ2 所提出的MDP水印方案在平均误报间隔时间和平均检测延迟方面的理论上限是什么？
• RQ3 水印幅度的大小如何影响在攻击存在情况下的控制性能和系统稳定性？
• RQ4 所提出的方法是否能在真实世界传感器网络系统中检测到伪装攻击，并提供可证明的性能保证？
• RQ5 在将动态水印引入基于MDP的控制系统时，检测灵敏度与控制损失之间的权衡关系如何？

主要发现

• 所提出的动态水印算法在MDPs中实现了平均误报间隔时间和平均检测延迟的可证明上界，确保了可靠的攻击检测能力。
• 该方法在传感器网络电源管理系统中有效检测到伪装攻击，检测在攻击发生后的有界时间窗口内完成。
• 检测性能与控制损失之间存在权衡：水印幅度越大，检测速度越快，但控制偏离最优行为的程度也越大。
• 理论分析表明，检测过程具有随机稳定性，CUSUM检测器在正常和攻击条件下均能收敛至正确决策。
• 观测过程的平稳分布可随时间一致估计，从而支持基于协方差的异常检测。
• 性能边界通过MDP过程的混合特性和遍历性推导得出，确保在模型不确定性下的鲁棒性。