[論文レビュー] Markov Chains with Maximum Return Time Entropy for Robotic Surveillance

Xiaoming Duan, Mishel George+1 more|arXiv (Cornell University)|Mar 21, 2018

Vehicular Ad Hoc Networks (VANETs)参考文献 24被引用数 3

ひとこと要約

本稿では、移動時間を持つ有向グラフ上のマーカフ連鎖において、帰還時間エントロピーを最大化することで、ロボット監視の不確実性を向上させる手法を提案する。帰還時間確率を遅延線形系でモデル化し、勾配射影法を用いた切断エントロピー近似を適用することで、合理的な侵入者に対して優れた性能を発揮し、攻撃持続時間が小さいから中程度の範囲では、MinKemenyおよびMaxEntropyRate連鎖を上回る。グリッドおよび実際の都市部の地形において有効である。

ABSTRACT

Motivated by robotic surveillance applications, this paper studies the novel problem of maximizing the return time entropy of a Markov chain, subject to a graph topology with travel times and stationary distribution. The return time entropy is the weighted average, over all graph nodes, of the entropy of the first return times of the Markov chain; this objective function is a function series that does not admit in general a closed form. The paper features theoretical and computational contributions. First, we obtain a discrete-time delayed linear system for the return time probability distribution and establish its convergence properties. We show that the objective function is continuous over a compact set and therefore admits a global maximum; a unique globally-optimal solution is known only for complete graphs with unitary travel times. We then establish upper and lower bounds between the return time entropy and the well-known entropy rate of the Markov chain. To compute the optimal Markov chain numerically, we establish the asymptotic equality between entropy, conditional entropy and truncated entropy, and propose an iteration to compute the gradient of the truncated entropy. Finally, we apply these results to the robotic surveillance problem. Our numerical results show that, for a model of rational intruder over prototypical graph topologies and test cases, the maximum return time entropy chain performs better than several existing Markov chains.

研究の動機と目的

• 移動時間を持つ有向グラフ上でのマーカフ連鎖における帰還時間エントロピーの最適化により、不確実性を最大化する確率的監視戦略の設計。
• 予測可能な訪問パターンを悪用する侵入者に対処するため、帰還時間を最大限に不確実にする。
• 定常分布およびグラフトポロジーの制約下で、帰還時間エントロピーの最適化を数値的に取り扱えるフレームワークの構築。
• 観察された訪問間隔に基づいて攻撃を計画する合理的な侵入者に対する、提案戦略の性能評価。
• 帰還時間エントロピー目的関数の理論的境界および収束性に関する確立。

提案手法

• グラフ上の整数値移動時間を組み込んだ離散時間遅延線形系を用いて、帰還時間確率をモデル化する。
• 目的関数の連続性およびコンパクト性を証明し、帰還時間エントロピー最適化におけるグローバル最大値の存在を保証する。
• 数値計算において、切断エントロピー、条件付きエントロピー、および元の帰還時間エントロピーの漸近的同等性を確立する。
• 切断された帰還時間エントロピーの勾配を導出し、勾配射影法による最適化を可能にする。
• シミュレーションにおいて、MaxReturnEntropy連鎖をMinKemenyおよびMaxEntropyRate連鎖と比較することで、ロボット監視への応用を実施する。
• 監視エージェントの出発を観測し、所定のステップ数にわたり戻らない後、攻撃を計画する合理的な侵入者モデルを用いる。

実験結果

リサーチクエスチョン

• RQ1 非単位移動時間を持つ有向グラフ上でのマーカフ連鎖における帰還時間エントロピーを最大化可能か？また、最適化問題は適切に定式化されているか？
• RQ2 帰還時間エントロピーは、マーカフ連鎖の有名なエントロピー率とどのように関係しているか？それらの間の理論的境界は何か？
• RQ3 観察された訪問間隔に基づいて攻撃を計画する合理的な侵入者に対して、MaxReturnEntropy連鎖の性能はいかがなものか？
• RQ4 切断された帰還時間エントロピーは、数値最適化における真の目的関数の信頼できる近似として機能するか？
• RQ5 実際の地形および合成的なトポロジーにおいて、MaxReturnEntropy戦略はMinKemenyおよびMaxEntropyRateなどの既存のマーカフ連鎖と比較してどのように差をつけるか？

主な発見

• 帰還時間エントロピーは、エントロピー率によって下界され、ノード数nを用いてn倍のエントロピー率によって上界される。
• 単位移動時間を持つ完全グラフでは、最大エントロピー原理を用いて最適解を解析的に導出可能である。
• 攻撃持続時間が小さいまたは中程度の4×4グリッド上では、MaxReturnEntropy連鎖はMinKemenyおよびMaxEntropyRate連鎖を上回り、合理的な侵入者を効果的に捕捉する。
• サンフランシスコの犯罪地図においても、同様の攻撃条件下でMaxReturnEntropy連鎖はMinKemeny連鎖を上回る。
• 切断された帰還時間エントロピーは、元の目的関数および条件付き帰還時間エントロピーと漸近的に同等であるため、信頼性のある数値最適化が可能である。
• 切断された帰還時間エントロピーの勾配が導出され、勾配射影法に用いられ、最適なマーカフ連鎖の数値計算が実現された。