[논문 리뷰] Markov Chains with Maximum Return Time Entropy for Robotic Surveillance

Xiaoming Duan, Mishel George외 1명|arXiv (Cornell University)|2018. 03. 21.

Vehicular Ad Hoc Networks (VANETs)참고 문헌 24인용 수 3

한 줄 요약

이 논문은 유도 그래프에서 이동 시간을 고려한 마르코프 체인에서 복귀 시간 엔트로피를 최대화하여 로봇 감시의 예측 불가능성을 향상시키는 방법을 제안한다. 복귀 시간 확률을 지연된 선형 시스템으로 모델링하고, 기울기 투영을 사용한 절단된 엔트로피 근사화를 통해, 공격 지속 시간이 작거나 중간 수준일 때 합리적인 침입자에 대해 MinKemeny 및 MaxEntropyRate 체인보다 뛰어난 성능을 달성한다. 이는 격자 및 실제 도시 지형 모두에서 성립한다.

ABSTRACT

Motivated by robotic surveillance applications, this paper studies the novel problem of maximizing the return time entropy of a Markov chain, subject to a graph topology with travel times and stationary distribution. The return time entropy is the weighted average, over all graph nodes, of the entropy of the first return times of the Markov chain; this objective function is a function series that does not admit in general a closed form. The paper features theoretical and computational contributions. First, we obtain a discrete-time delayed linear system for the return time probability distribution and establish its convergence properties. We show that the objective function is continuous over a compact set and therefore admits a global maximum; a unique globally-optimal solution is known only for complete graphs with unitary travel times. We then establish upper and lower bounds between the return time entropy and the well-known entropy rate of the Markov chain. To compute the optimal Markov chain numerically, we establish the asymptotic equality between entropy, conditional entropy and truncated entropy, and propose an iteration to compute the gradient of the truncated entropy. Finally, we apply these results to the robotic surveillance problem. Our numerical results show that, for a model of rational intruder over prototypical graph topologies and test cases, the maximum return time entropy chain performs better than several existing Markov chains.

연구 동기 및 목표

• 유도 그래프에서 이동 시간을 고려한 마르코프 체인에서 복귀 시간 엔트로피를 최적화하여 불확실성을 극대화하는 확률적 감시 전략을 설계한다.
• 예측 가능한 방문 패턴을 악용하는 침입자를 방지하기 위해 복귀 시간을 최대한 불확실하게 만든다.
• 정적 분포 및 그래프 구조 제약 조건 하에서 복귀 시간 엔트로피 최적화를 위한 수치적으로 다룰 수 있는 최적화 프레임워크를 개발한다.
• 관찰된 간격 간 방문 간격을 기반으로 공격을 계획하는 합리적인 침입자에 대해 제안된 전략의 성능을 평가한다.
• 복귀 시간 엔트로피 목표 함수에 대한 이론적 경계 및 수렴 성질을 수립한다.

제안 방법

• 유도 그래프의 정수 이동 시간을 고려한 이산 시간 지연 선형 시스템을 사용하여 복귀 시간 확률을 모델링한다.
• 목표 함수의 연속성과 컴act성(유계성)을 증명하여 복귀 시간 엔트로피 최적화 문제의 전역 최대값 존재를 보장한다.
• 수치 계산을 위해 절단된 엔트로피, 조건부 엔트로피, 원래 복귀 시간 엔트로피 간 渐近적 등가성을 확립한다.
• 절단된 복귀 시간 엔트로피의 기울기를 유도하여 기울기 투영 기반 최적화를 가능하게 한다.
• 로봇 감시에 적용하기 위해 시뮬레이션에서 MaxReturnEntropy 체인을 MinKemeny 및 MaxEntropyRate 체인과 비교한다.
• 감시자가 출발한 후 일정 수의 단계 동안 복귀하지 않는 것을 관찰한 후 공격을 계획하는 합리적 침입자 모델을 사용한다.

실험 결과

연구 질문

• RQ1 비단위 이동 시간을 가진 유도 그래프에서 마르코프 체인의 복귀 시간 엔트로피를 최대화할 수 있으며, 최적화 문제가 잘 정의되어 있는가?
• RQ2 복귀 시간 엔트로피는 알려진 마르코프 체인의 엔트로피율과 어떻게 관련되어 있으며, 이들 사이의 이론적 경계는 무엇인가?
• RQ3 관찰된 간격 간 방문 간격을 기반으로 공격을 계획하는 합리적 침입자에 대해 MaxReturnEntropy 체인의 성능은 어떠한가?
• RQ4 절단된 복귀 시간 엔트로피는 수치 최적화에서 진짜 목표 함수에 대해 신뢰할 수 있는 근사치가 될 수 있는가?
• RQ5 실제 및 시뮬레이션 도메인에서 기존의 마르코프 체인인 MinKemeny 및 MaxEntropyRate와 비교해 복귀 시간 엔트로피 최대화 전략은 어떻게 성능을 내는가?

주요 결과

• 복귀 시간 엔트로피는 엔트로피율에 의해 하한으로 제약되며, 노드 수 n에 대해 엔트로피율의 n배로 상한으로 제약된다.
• 단위 이동 시간을 가진 완전 그래프의 경우 최대 엔트로피 원리에 의해 최적 해가 해석적으로 유도된다.
• 공격 지속 시간이 작거나 중간일 때, 4×4 격자에서 MaxReturnEntropy 체인은 MinKemeny 및 MaxEntropyRate 체인보다 합리적인 침입자를 더 잘 탐지한다.
• 샌프란시스코 범죄 지도에서도 유사한 공격 조건 하에서 MaxReturnEntropy 체인은 MinKemeny 체인을 능가한다.
• 절단된 복귀 시간 엔트로피는 원래 목표 함수 및 조건부 복귀 시간 엔트로피와 渐近적 등가성을 가지며, 신뢰할 수 있는 수치 최적화를 가능하게 한다.
• 절단된 복귀 시간 엔트로피의 기울기가 유도되었으며, 이는 기울기 투영 방법을 통해 최적의 마르코프 체인을 수치적으로 계산하는 데 사용되었다.