[论文解读] Markov Chains with Maximum Return Time Entropy for Robotic Surveillance

Xiaoming Duan, Mishel George+1 more|arXiv (Cornell University)|Mar 21, 2018

Vehicular Ad Hoc Networks (VANETs)参考文献 24被引用 3

一句话总结

本文提出在具有行程时间的有向图上最大化马尔可夫链的返回时间熵，以增强机器人监控中的不可预测性。通过使用带延迟的线性系统建模返回时间概率，并采用截断熵近似与梯度投影方法，该方法在攻击持续时间较小至中等时，对理性入侵者表现出优越性能，优于MinKemeny和MaxEntropyRate链，在网格和真实城市拓扑结构中均表现更优。

ABSTRACT

Motivated by robotic surveillance applications, this paper studies the novel problem of maximizing the return time entropy of a Markov chain, subject to a graph topology with travel times and stationary distribution. The return time entropy is the weighted average, over all graph nodes, of the entropy of the first return times of the Markov chain; this objective function is a function series that does not admit in general a closed form. The paper features theoretical and computational contributions. First, we obtain a discrete-time delayed linear system for the return time probability distribution and establish its convergence properties. We show that the objective function is continuous over a compact set and therefore admits a global maximum; a unique globally-optimal solution is known only for complete graphs with unitary travel times. We then establish upper and lower bounds between the return time entropy and the well-known entropy rate of the Markov chain. To compute the optimal Markov chain numerically, we establish the asymptotic equality between entropy, conditional entropy and truncated entropy, and propose an iteration to compute the gradient of the truncated entropy. Finally, we apply these results to the robotic surveillance problem. Our numerical results show that, for a model of rational intruder over prototypical graph topologies and test cases, the maximum return time entropy chain performs better than several existing Markov chains.

研究动机与目标

• 设计基于有向图上带行程时间的马尔可夫链中返回时间熵优化的随机监控策略，以最大化不可预测性。
• 应对入侵者利用可预测访问模式的问题，使返回时间尽可能不确定。
• 为在平稳分布与图拓扑约束下，开发可数值处理的返回时间熵优化框架。
• 评估所提策略在理性入侵者基于观察到的访问间隔时间安排攻击时的性能。
• 为返回时间熵目标函数建立理论边界与收敛性属性。

提出的方法

• 使用离散时间带延迟线性系统建模返回时间概率，该系统结合图上整数值行程时间。
• 证明目标函数的连续性与紧致性，确保返回时间熵优化存在全局最大值。
• 建立截断熵、条件熵与原始返回时间熵之间的渐近等价性，以支持数值计算。
• 推导截断返回时间熵的梯度，以支持基于梯度投影的优化。
• 通过在仿真中对比MaxReturnEntropy链与MinKemeny及MaxEntropyRate链，将该方法应用于机器人监控。
• 采用理性入侵者模型：在观察到监控代理离开后，等待设定步数不返回再发动攻击。

实验结果

研究问题

• RQ1 能否在具有非单位行程时间的有向图上的马尔可夫链中最大化返回时间熵？该优化问题是否适定？
• RQ2 返回时间熵与马尔可夫链中著名的熵率之间有何关系？二者之间的理论边界是什么？
• RQ3 在基于观察到的访问间隔时间规划攻击的理性入侵者面前，MaxReturnEntropy链的性能如何？
• RQ4 截断返回时间熵能否作为数值优化中真实目标的可靠近似？
• RQ5 在真实世界与合成拓扑结构中，MaxReturnEntropy策略相较于MinKemeny与MaxEntropyRate等现有马尔可夫链表现如何？

主要发现

• 返回时间熵的下界为熵率，上界为节点数n乘以熵率。
• 对于单位行程时间下的完全图，利用最大熵原理可解析推导出最优解。
• 在攻击持续时间较小或中等时，MaxReturnEntropy链在4×4网格上对理性入侵者的捕捉表现优于MinKemeny与MaxEntropyRate链。
• 在旧金山犯罪地图上，当攻击条件相当时，MaxReturnEntropy链同样优于MinKemeny链。
• 截断返回时间熵与原始目标函数及条件返回时间熵渐近等价，支持可靠的数值优化。
• 推导出截断返回时间熵的梯度，并用于梯度投影法，以数值方式计算最优马尔可夫链。