[논문 리뷰] Piecewise-Deterministic Optimal Path Planning

Zhengdi Shen, Alexander Vladimirsky|arXiv (Cornell University)|2015. 12. 29.

Risk and Portfolio Optimization참고 문헌 36인용 수 3

한 줄 요약

이 논문은 무작위 환경 전환을 수반하는 조각별 결정론적 시스템에서 최적 경로 계획을 위한 수치 프레임워크를 제시한다. 약하게 결합된 해밀턴-자코비-벨리만 편미분방정식(PDE) 시스템을 해결하기 위해 준라그랑주 및 오일러 방법을 사용한다. 주요 기여는 무한 전환률 또는 영 전환률 기반의 점근적 최적 제어가 유한 전환률 환경에서는 성능이著しく 떨어질 수 있음을 입증한 것으로, 특히 무한 전환률 전략은 몬테카를로 시뮬레이션에서 충돌을 유발한다는 점이다.

ABSTRACT

We consider piecewise-deterministic optimal control problems in which the environment randomly switches among several deterministic modes, and the goal is to optimize the expected cost up to the termination while taking the likelihood of future mode-switches into account. The dynamic programming approach yields a weakly-coupled system of Hamilton-Jacobi-Bellman PDEs satisfied by the value functions of individual modes. We derive and implement semi-Lagrangian and Eulerian numerical schemes for that system. We further recover simpler, "asymptotically optimal" controls and test their performance in non-asymptotic regimes. Our approach is illustrated on a simple anisotropic path-planning problem: the time-optimal control for a boat affected by randomly switching winds.

연구 동기 및 목표

• 무작위 즉각적 모드 전환을 수반하는 시스템에서 최적 제어 문제를 해결하기 위한 효율적인 수치적 방법을 개발하기 위해.
• 무한 전환률 또는 영 전환률 기반의 점근적 최적 제어와 유한 전환률 환경에서의 진정한 최적 해 사이의 성능 격차를 분석하기 위해.
• 완전한 약하게 결합된 HJB 시스템을 풀지 않고 단순화된 제어 전략을 사용할 경우 기대 성능 저하를 정량화하기 위해.
• 조각별 결정론적 설정에서 최적 경로가 결정론적 경우와 달리 조각별 직선이 아니라는 점을 입증하기 위해.
• 일반적인 전환 동역학 하에서 모드별 값 함수 간의 차이에 대한 사전 경계를 유도하기 위해.

제안 방법

• 각 모드가 다른 결정론적 역학을 갖는 1계 해밀턴-자코비-벨리만(HJB) PDE 시스템으로 최적 제어 문제를 수식화한다.
• 지배 PDE 시스템 유도: $\|\nabla u_i\|s(\mathbf{x}) - \mathbf{w}_i(\mathbf{x})\cdot\nabla u_i = 1 - \sum_{j=1}^n \lambda_{ij}(u_i - u_j)$, 이는 무작위 전환 하에서의 기대 비용을 표현한다.
• 카르테시안 격자에서 효율적으로 결합된 HJB 시스템을 푸는 데 준라그랑주 및 오일러 수치적 방법을 구현한다.
• 두 가지 점근적 최적 제어 전략을 제안한다: 하나는 즉각적 전환을 가정하는 것(무한 전환률 $c \to \infty$), 다른 하나는 전환 없음을 가정하는 것(영 전환률 $c \to 0$).
• 단일 장애물이 있는 2차원 경로 계획 문제에서 몬테카를로 시뮬레이션을 통해 점근적 제어의 성능을 진정한 최적 해와 비교한다.
• 도달 시간 기대값과 리프시츠 연속성에 기반해 $\|u_i - u_j\|_\infty$에 대한 상한을 유도하여 $c \to \infty$일 때 $|u_i - u_j| = O(c^{-1})$임을 보여준다.

실험 결과

연구 질문

• RQ1 무한 전환률 또는 영 전환률 기반의 점근적 최적 제어가 유한 전환률 환경에 적용되었을 때 성능이 어떻게 저하되는가?
• RQ2 결정론적 경로 계획 문제와 조각별 결정론적 경로 계획 문제 간의 최적 경로에서의 구조적 차이는 무엇인가?
• RQ3 전환 시스템에서 모드별 값 함수 간의 차이에 대해 사전 경계를 도출할 수 있는가?
• RQ4 약하게 결합된 HJB 시스템을 위한 수치적 방법들이 불확실성 하에서의 경로 계획에서 정확도와 효율성 측면에서 어떻게 비교되는가?
• RQ5 무작위 환경 전환이 최적 경로의 최적성과 매끄러움에 어떤 영향을 미치는가?

주요 결과

• 무한 전환률 기반 점근적 제어 전략($u^\infty$)은 몬테카를로 시뮬레이션의 상당 부분에서 장애물과 충돌을 일으켜 심각한 성능 저하를 나타낸다.
• 영 전환률 기반 점근적 제어($\alpha_*^0$)는 $u^\infty$보다 성능이 뛰어나지만, 여전히 진정한 최적 해에 비해 눈에 띄는 기대 시간 비용 증가를 초래한다.
• 조각별 결정론적 설정에서 최적 경로는 속도장이 각 모드에서 일정하더라도 더 이상 조각별 직선이 아니며, 전환 동역학의 영향 때문이다.
• 모드별 값 함수 $u_i$와 $u_j$ 간의 차이는 $\bar{C} \cdot \max\{\mathbb{E}[\kappa_{ij}], \mathbb{E}[\kappa_{ji}]\}$로 경계되며, 여기서 $\kappa_{ij}$는 모드 $i$에서 $j$로 전환하기 위한 도달 시간이다.
• 전환률 $c$가 증가함에 따라 값 함수 간의 차이는 $O(c^{-1})$로 감소하며, 이는 $u^\infty$가 진정한 해로의 점근적 수렴을 확인한다.
• 값 함수 간의 이론적 상한은 상대적으로 약한 가정 하에 도출되었으며, 유한한 비용, 값 함수의 리프시츠 연속성, 국소 제어 가능성 조건이 포함된다.