[논문 리뷰] Motion Planning via Optimal Control for Stochastic Processes

Peyman Mohajerin Esfahani, Debasish Chatterjee외 1명|arXiv (Cornell University)|2012. 11. 06.

Stochastic processes and financial applications참고 문헌 21인용 수 3

한 줄 요약

이 논문은 비연속 경로를 가지는 제어 과정을 포함하는 확률적 운동 계획을 위한 약한 동적계획법 원리(weak DPP)를 제안하며, 순차적 목표 방문과 장애물 회피를 가능하게 한다. 주요 기여는 사전 지정된 확률로 원하는 조작을 수행할 수 있는 초기 상태의 집합을, 순차적으로 정의된 경계 조건을 가진 PDE들의 불연속 점성 해의 수준집합으로 특성화하는 것이다.

ABSTRACT

We study stochastic motion planning problems which involve a controlled process, with possibly discontinuous sample paths, visiting certain subsets of the state-space while avoiding others in a sequential fashion. For this purpose, we first introduce two basic notions of motion planning, and then establish a connection to a class of stochastic optimal control problems concerned with sequential stopping times. A weak dynamic programming principle (DPP) is then proposed, which characterizes the set of initial states that admit a policy enabling the process to execute the desired maneuver with probability no less than some pre-specified value. The proposed DPP comprises auxiliary value functions defined in terms of discontinuous payoff functions. A concrete instance of the use of this novel DPP in the case of diffusion processes is also presented. In this case, we establish that the aforementioned set of initial states can be characterized as the level set of a discontinuous viscosity solution to a sequence of partial differential equations, for which the first one has a known boundary condition, while the boundary conditions of the subsequent ones are determined by the solutions to the preceding steps. Finally, the generality and flexibility of the theoretical results are illustrated on an example involving biological switches.

연구 동기 및 목표

• 비연속 표본 경로를 가지는 시스템에서의 확률적 운동 계획 문제를 다루며, 금지 영역을 피하면서 목표 부분집합을 순차적으로 방문해야 하는 경우를 대상으로 한다.
• 특히 확률적 보장을 중시하여, 스토케스틱 맥락에서 운동 계획의 두 기본 개념을 체계화한다.
• 순차적 정지 시간을 포함하는 확률적 최적 제어 문제와 운동 계획 간의 연결 고리를 구축한다.
• 주어진 임계값 이상의 확률로 원하는 조작을 성공적으로 수행할 수 있는 초기 상태를 특성화하는 약한 DPP를 개발한다.
• 생물학적 스위치 모델에 대한 적용을 통해 방법의 일반성을 입증하며, 복잡한 시스템에서의 유연성을 보여준다.

제안 방법

• 불연속 수익 함수를 통해 정의된 보조 가치 함수를 포함하는 약한 동적계획법 원리(DPP)를 도입한다.
• 운동 계획 문제를 정지 시간을 포함한 확률적 최적 제어 문제의 순서로 모델링하여, 순차적 목표 방문을 보장한다.
• DPP를 확산 과정에 적용하여, 순차적으로 정의된 경계 조건을 가진 편미분방정식(PDE) 시스템을 유도한다.
• 성공적인 조작을 수행할 수 있는 초기 상태의 집합을 PDE 시스템의 불연속 점성 해의 수준집합으로 특성화한다.
• 수익 함수와 경계 조건의 비연속성을 다루기 위해 점성 해 이론을 활용한다.
• 재귀적 해법 단계를 적용: 첫 번째 PDE는 알려진 경계 조건을 가지며, 이후 각 PDE의 경계 조건은 이전 단계의 해로부터 유도된다.

실험 결과

연구 질문

• RQ1 비연속 표본 경로를 가지는 확률적 과정에 대해 운동 계획을 어떻게 수립할 수 있으며, 순차적 목표 방문과 장애물 회피를 보장할 수 있는가?
• RQ2 확률적 제약 조건 하에서 원하는 조작을 수행할 수 있는 타당한 초기 상태를 특성화할 때, 순차적 정지 시간의 역할은 무엇인가?
• RQ3 수익 함수와 경계 조건이 비연속일 경우, 어떻게 약한 동적계획법 원리를 구성할 수 있는가?
• RQ4 확산 과정의 맥락에서 원하는 조작을 수행할 수 있는 초기 상태의 집합을 수학적으로 어떻게 특성화할 수 있는가?
• RQ5 제안된 DPP 프레임워크는 생물학적 스위치와 같은 복잡한 시스템에 얼마나 광범위하게 적용될 수 있는가?

주요 결과

• 사전 지정된 임계값 이상의 확률로 원하는 조작을 수행할 수 있는 정책을 허용하는 초기 상태의 집합은, 순차적인 PDE들의 불연속 점성 해의 수준집합으로 특성화된다.
• 이 시퀀스의 첫 번째 PDE는 알려진 경계 조건을 가지며, 이후 PDE들의 경계 조건은 이전 방정정식의 해로부터 재귀적으로 결정된다.
• 점성 해 이론을 활용하여 비연속 수익 함수를 효과적으로 다루어, 비연속성에도 불구하고 수학적 엄밀성을 확보한다.
• 생물학적 스위치 역학에 대한 적용을 통해, 이 프레임워크가 복잡한 시스템을 모델링하는 데 충분히 일반적임을 입증한다.
• 이론적 결과는 표본 경로가 비연속일지라도 불확실성 하에서 운동 계획을 위한 타당한 초기 상태를 체계적으로 계산할 수 있는 방법을 제공한다.
• PDE 시스템의 재귀적 구조는 확률적 환경에서의 순차적 운동 계획 작업에 대한 확장 가능한 분석을 가능하게 한다.