[논문 리뷰] Memoryless Control Design for Persistent Surveillance under Safety Constraints

Eduardo R. Arvelo, Eric Kim외 1명|arXiv (Cornell University)|2012. 09. 26.

Reinforcement Learning in Robotics참고 문헌 12인용 수 9

한 줄 요약

이 논문은 안전 제약 조건 하에 2차원 격자에서 이동하는 로봇을 위한 시간 불변, 기억이 없는 제어 정책을 설계하기 위해 볼록 최적화 기반 방법을 제안한다. 비금지 상태의 지속적 감시를 최대화한다. 엔트로피 최대화를 활용함으로써, 최소한의 재귀 클래스를 갖는 가장 넓은 상태 집합이 지속적으로 방문되도록 보장하는 제어 정책을 계산한다. 이는 볼록 프로그래밍을 통해 최소한의 로봇 배치를 가능하게 한다.

ABSTRACT

This paper deals with the design of time-invariant memoryless control policies for robots that move in a finite two- dimensional lattice and are tasked with persistent surveillance of an area in which there are forbidden regions. We model each robot as a controlled Markov chain whose state comprises its position in the lattice and the direction of motion. The goal is to find the minimum number of robots and an associated time-invariant memoryless control policy that guarantees that the largest number of states are persistently surveilled without ever visiting a forbidden state. We propose a design method that relies on a finitely parametrized convex program inspired by entropy maximization principles. Numerical examples are provided.

연구 동기 및 목표

• 금지 영역이 있는 유한한 2차원 격자 내에서 로봇의 시간 불변, 기억이 없는 제어 정책을 설계하기 위해.
• 금지된 상태를 방문하지 않으면서 지속적으로 감시되는 상태의 수를 최대화하기 위해.
• 가장 넓은 상태 집합을 완전히 커버하기 위해 필요한 로봇 수를 최소화하기 위해.
• 계산 능력이 제한된 소형 로봇에서의 확장성과 구현 가능성을 확보하기 위해.
• 안전 및 제어 제약 조건 하에서 최적의 지속적 감시를 보장하는 볼록 최적화 프레임워크를 제공하기 위해.

제안 방법

• 로봇을 유한한 상태 공간과 제어 공간을 갖는 제어된 마르코프 체인으로 모델링하며, 상태에는 위치와 방향이 포함된다.
• 엔트로피 최대화 기반의 유한한 매개변수화된 볼록 프로그램을 사용하여 상태 위의 최적 정적 분포를 계산한다.
• 금지된 상태를 제외시키기 위한 제약 조건을 도입하고, 결과 정책이 기억이 없고 시간 불변임을 보장한다.
• 볼록 프로그램의 최적 해에서 유도된 제어 정책을 통해 도달 가능한 비금지 상태 위에서 지원을 최대화한다.
• 닫힘형 마르코프 체인의 재귀 클래스를 식별하여 필요한 최소 로봇 수를 결정한다.
• 한정된 분포의 형태를 조정하고 관심 영역을 우선시하기 위해 추가적인 볼록 제약 조건을 도입한다.

실험 결과

연구 질문

• RQ1 2차원 격자에서 금지된 상태를 방문하지 않으면서 가장 넓은 비금지 상태 집합을 지속적으로 감시하기 위해 필요한 최소 로봇 수는 얼마인가?
• RQ2 안전 제약 조건을 준수하면서 기억이 없고 시간 불변인 제어 정책을 어떻게 설계할 수 있는가?
• RQ3 제약 조건 하에서 정적 분포의 지원을 최대화하기 위해 엔트로피 최대화 원리를 사용할 수 있는가?
• RQ4 최적화 프레임워크에서 볼록 제약 조건을 사용하여 로봇의 운동의 최종 행동을 어떻게 조정할 수 있는가?
• RQ5 닫힘형 마르코프 체인의 재귀 클래스 수와 필요한 최소 로봇 수 사이의 관계는 무엇인가?

주요 결과

• 제안된 볼록 프로그램은 정적 분포의 지원을 최대화하는 제어 정책을 계산하여, 가장 넓은 비금지 상태 집합이 지속적으로 감시되도록 보장한다.
• 필요한 최소 로봇 수는 계산된 정책 하에서 닫힘형 마르코프 체인의 재귀 클래스 수와 같다.
• 해결 방법은 확장 가능하며, [8]과 같은 표준 볼록 최적화 도구를 사용해 효율적으로 해결할 수 있다.
• 수치 예제에서는 추가 제약 조건이 적용되지 않은 경우 정적 분포가 감시된 상태들 사이에서 상대적으로 균일하다.
• 고도로 관심 있는 영역에 대한 볼록 제약 조건을 추가함으로써, 해당 영역의 방문 빈도를 높여 타겟 감시 우선순위를 달성할 수 있다.
• 임의의 초기 상태에서, 어떤 상태로의 최종 방문 빈도는 해가 정의한 정적 확률 비례로 결정되며, 이는 해가 정의한 바와 같다.