[논문 리뷰] A numerical approach to stochastic reach-avoid problems for Markov Decision Processes.

Nikolaos Kariotoglou, Maryam Kamgarpour외 2명|arXiv (Cornell University)|2014. 11. 21.

Advanced Control Systems Optimization참고 문헌 50인용 수 3

한 줄 요약

이 논문은 고차원 스토하스틱 도달-피하기 문제를 해결하기 위한 수치적 방법을 제안한다. 마코프 결정 과정에서 재귀 방정식을 부등식으로 완화하고, 값 함수를 가우시안 레이디얼 기저 함수에 투영하며, 제약 조건을 샘플링하는 방식을 취한다. 이 방법은 초직사각형 안전 영역 및 목표 영역에 대해 한 스텝 보상의 해석적 계산을 가능하게 하여 격자 기반 방법보다 크게 슈퍼리어하며, 비선형 자율 레이스카 경로 계획 문제에 효과적으로 적용됨을 보여준다.

ABSTRACT

We consider finite horizon reach-avoid problems for discrete time stochastic systems with additive Gaussian mixture noise. Our goal is to approximate the optimal value function of such problems on dimensions higher than what can be handled via state-space gridding techniques. We achieve this by relaxing the recursive equations of the finite horizon reach-avoid optimal control problem into inequalities, projecting the optimal value function to a finite dimensional basis and sampling the associated infinite set of constraints. We focus on a specific value function parametrization using Gaussian radial basis functions that enables the analytical computation of the one-step reach-avoid reward in the case of hyper-rectangular safe and target sets, achieving significant computational benefits compared to state-space gridding. We analyze the performance of the overall method numerically by approximating simple reach-avoid control problems and comparing the results to benchmark controllers based on well-studied methods. The full power of the method is demonstrated on a nonlinear control problem inspired from constrained path planning for autonomous race cars.

연구 동기 및 목표

• 상태공간 격자화가 계산적으로 비현실적이게 되는 고차원 스토하스틱 시스템에서 유한 시간 도달-피하기 문제를 해결하는 데 도전한다.
• 가우시안 혼합 노이즈를 갖는 시스템에서 최적 값 함수에 대한 확장 가능한 근사 방법을 개발한다.
• 특정 매개변수화를 통해 가우시안 레이디얼 기저 함수를 사용하여 한 스텝 도달-피하기 보상의 해석적 계산을 가능하게 한다.
• 간단한 벤치마크 문제와 복잡한 비선형 자율 차량 제어 문제에 대해 본 방법의 성능을 시현한다.
• 기존 격자 기반 방법에 대한 계산 효율적인 대안을 제공한다.

제안 방법

• 유한 시간 도달-피하기 최적 제어 문제의 재귀 방정식을 부등식으로 완화하여 수치적 근사를 가능하게 한다.
• 계산 가능성을 확보하기 위해 최적 값 함수를 유한 차원의 가우시안 레이디얼 기저 함수 기저에 투영한다.
• 완화된 부등식으로 인해 발생하는 무한 개의 제약 조건을 샘플링하여 유한한 최적화 문제를 구성한다.
• 초직사각형 안전 영역 및 목표 영역의 구조를 활용하여 한 스텝 도달-피하기 보상을 해석적으로 계산함으로써 수치적 통합의 의존도를 감소시킨다.
• 기존 수치 해소자들이 사용할 수 있는 표준 최적화 도구로 해결할 수 있는 제약 조건 최적화 문제로 문제를 재구성한다.
• 낮은 차원 문제에서 방법을 검증하고, 자율 레이스카의 고차원 비선형 경로 계획 문제로 확장한다.

실험 결과

연구 질문

• RQ1 함수 근사와 함께 함수 완화 기반 접근 방식이 고차원 스토하스틱 도달-피하기 문제에서 전통적인 상태공간 격자화보다 우월한가?
• RQ2 가우시안 레이디얼 기저 함수는 초직사각형 집합을 갖는 도달-피하기 설정에서 한 스텝 보상의 해석적 계산을 어느 정도 가능하게 하는가?
• RQ3 성능 및 계산 효율성 측면에서 본 방법은 벤치마크 제어기와 비교해 어떻게 성과를 내는가?
• RQ4 본 방법은 자율 차량 경로 계획과 같은 비선형 고차원 시스템으로 효과적으로 확장 가능한가?
• RQ5 제약 조건 샘플링 및 기저 함수 선택은 값 함수 근사의 정확도와 수렴성에 어떤 영향을 미치는가?

주요 결과

• 가우시안 RBF 매개변수화를 통해 한 스텝 보상의 해석적 계산을 가능하게 함으로써, 상태공간 격자화 대비 뚜렷한 계산적 이점을 달성한다.
• 수치적 결과는 제안된 방법이 단순한 도달-피하기 문제에서 최적 값 함수를 높은 정확도로 근사하며, 벤치마크 제어기보다 뛰어난 성능을 보임을 보여준다.
• 본 방법은 자율 레이스카를 위한 도전적인 비선형 경로 계획 문제를 성공적으로 해결하여 확장성과 실용적 관련성을 입증한다.
• 가우시안 레이디얼 기저 함수의 사용은 고차원 공간에서 값 함수의 효율적이고 정확한 투영을 가능하게 한다.
• 제약 조건 샘플링은 해가 품질을 잃지 않고 무한 차원 문제를 유한한 해법 가능한 최적화 문제로 효과적으로 감소시킨다.
• 초직사각형 집합에 대한 한 스텝 보상의 해석적 처리로 인해 고비용 수치 통합이 제거되어 계산 효율성이 향상된다.