[논문 리뷰] Robust Combination of Local Controllers

Carlos Guestrin, Dirk Ormoneit|arXiv (Cornell University)|2013. 01. 10.

Robotic Path Planning Algorithms참고 문헌 11인용 수 8

한 줄 요약

이 논문은 전이 확률과 목표 도달 신뢰성에 대한 불확실성을 다루며, 운동 계획과 할인된 마르코프 결정 과정(MDP)에서 국소적으로 설계된 제어기를 강건하게 조합하기 위한 비모수적 방법을 제안한다. 이는 높은 확률로 목표에 도달하는 데 필요한 다항수의 샘플이 충분하다는 것을 증명하며, 기대 비용 최소화의 실용적 대안을 제공한다.

ABSTRACT

Planning problems are hard, motion planning, for example, isPSPACE-hard. Such problems are even more difficult in the presence of uncertainty. Although, Markov Decision Processes (MDPs) provide a formal framework for such problems, finding solutions to high dimensional continuous MDPs is usually difficult, especially when the actions and time measurements are continuous. Fortunately, problem-specific knowledge allows us to design controllers that are good locally, though having no global guarantees. We propose a method of nonparametrically combining local controllers to obtain globally good solutions. We apply this formulation to two types of problems : motion planning (stochastic shortest path) and discounted MDPs. For motion planning, we argue that usual MDP optimality criterion (expected cost) may not be practically relevant. Wepropose an alternative: finding the minimum cost path,subject to the constraint that the robot must reach the goal withhigh probability. For this problem, we prove that a polynomial number of samples is sufficient to obtain a high probability path. For discounted MDPs, we propose a formulation that explicitly deals with model uncertainty, i.e., the problem introduced when transition probabilities are not known exactly. We formulate the problem as a robust linear program which directly incorporates this type of uncertainty.

연구 동기 및 목표

• 연속된 동작과 시간을 포함한 고차원 연속 MDP를 해결하는 데 어려움을 해결하기 위해.
• 실제 운동 계획에서 목표 도달 신뢰성이 기대 비용 최소화보다 더 중요하기 때문에, 전통적인 MDP 최적성 기준(예: 기대 비용)의 한계를 극복하기 위해.
• 전역 모델 지식이 필요 없이 국소적으로 효과적인 제어기를 조합하여 전역적으로 강건한 해법을 개발하기 위해.
• 할인된 MDP에서 모델 불확실성을 명시적으로 다루기 위해 문제를 강건 선형계획법으로 공식화하기 위해.

제안 방법

• 전역 정책의 매개수 형태를 가정하지 않고 국소 제어기를 비모수적 방법으로 조합한다.
• 운동 계획에서는 기대 비용 최소화가 아니라 높은 확률로 목표에 도달하는 것을 목표로 경로 비용을 최소화하는 것으로 목적을 재정의한다.
• 전이 확률의 불확실성을 통합하여 모델 정밀도 부족에 강건한 강건 선형계획법 공식을 도입한다.
• 샘플링 기반 접근법을 활용하여 다항수의 샘플이 높은 확률로 목표 도달을 확보하는 데 충분함을 입증한다.
• 스토케스틱 최단경로 문제와 할인된 MDP 모두에 이 프레임워크를 적용하여 다양한 계획 설정에서의 적용 가능성을 보여준다.
• 강건 최적화 프레임워크를 사용하여 전이 동역학의 불확실성을 직접 인코딩하고 관리함으로써 모델 잘못 지정 시 신뢰성을 향상시킨다.

실험 결과

연구 질문

• RQ1 전역 모델 지식이나 매개수 가정 없이 국소적으로 효과적인 제어기를 조합하여 전역적으로 강건한 정책을 만들 수 있는가?
• RQ2 불확실성 하에서 운동 계획에서 기대 비용 최소화가 충분하거나 실용적인 기준인가, 아니면 목표 도달 확률을 우선시해야 하는가?
• RQ3 스토케스틱 최단경로 문제에서 다항수의 샘플이 높은 확률로 목표 도달을 보장할 수 있는가?
• RQ4 전이 확률의 모델 불확실성을 MDP 해법 방법에 공식적으로 통합하여 강건성을 향상시킬 수 있는가?
• RQ5 할인된 MDP에서 불확실성을 효과적으로 다룰 수 있는 강건 선형계획법 공식이 계산의 타당성을 유지하면서도 효과적인가?

주요 결과

• 다항수의 샘플이 충분하여 목표에 높은 확률로 도달하는 경로를 구성할 수 있으며, 이는 스토케스틱 최단경로 문제에 대한 강력한 유한 샘플 보장을 제공한다.
• 제안된 강건 선형계획법 공식은 전이 확률의 불확실성을 효과적으로 다루며, 모델 잘못 지정 시 신뢰성을 향상시킨다.
• 전역 모델 지식이나 매개수 가정 없이 국소 제어기를 조합하여 전역적으로 효과적인 정책을 성공적으로 도출한다.
• 기대 비용 최소화보다 목표 도달 신뢰성을 우선시함으로써 실제 운동 계획에서 전통적 방법보다 우수한 성능을 보인다.
• 이 프레임워크는 스토케스틱 최단경로 문제와 할인된 MDP 모두에 적용 가능하여 다양한 계획 작업에서 넓은 유용성을 보여준다.
• 이론적 분석을 통해 이 방법이 유한하고 다항적으로 유 bounds된 샘플로 높은 확률로 목표 도달을 달성함을 확인하여 확장 가능하고 실용적임을 입증한다.