[논문 리뷰] Optimal Limited Contingency Planning

Nicolas Meuleau, David E. Smith|arXiv (Cornell University)|2012. 10. 19.

Reinforcement Learning in Robotics참고 문헌 17인용 수 30

한 줄 요약

이 논문은 결정점과 분기 수에 стрict한 제한이 있는 상황에서 최적의 의사결정 정책을 찾는 anytime 알고리즘인 k-컨티전시 플래닝 최적화(OKP)를 소개한다. 문제를 부분적으로 관찰 가능한 마르코프 결정 과정(POMDP)으로 모델링하고, 지능적인 프루닝을 적용한 벨먼 최적성 원리를 활용함으로써, 모든 가능한 컨티전시 플랜을 명시적으로 열거하지 않고도, 계획 복잡도에 대한 엄격한 제약 조건 속에서도 근사 최적의 해를 효율적으로 계산할 수 있다.

ABSTRACT

For a given problem, the optimal Markov policy can be considerred as a conditional or contingent plan containing a (potentially large) number of branches. Unfortunately, there are applications where it is desirable to strictly limit the number of decision points and branches in a plan. For example, it may be that plans must later undergo more detailed simulation to verify correctness and safety, or that they must be simple enough to be understood and analyzed by humans. As a result, it may be necessary to limit consideration to plans with only a small number of branches. This raises the question of how one goes about finding optimal plans containing only a limited number of branches. In this paper, we present an any-time algorithm for optimal k-contingency planning (OKP). It is the first optimal algorithm for limited contingency planning that is not an explicit enumeration of possible contingent plans. By modelling the problem as a Partially Observable Markov Decision Process, it implements the Bellman optimality principle and prunes the solution space. We present experimental results of applying this algorithm to some simple test cases.

연구 동기 및 목표

• 안전이 중요한 또는 시뮬레이션을 많이 요구하는 응용 분야에서 압축되고 인간이 이해할 수 있는 계획이 필요하기 위해.
• 오직 k개의 결정점과 분기로 제한된 상황에서 최적의 의사결정 정책을 찾기 위해.
• 모든 가능한 컨티전시 플랜을 무차별적으로 열거하는 것에 대한 확장 가능한 대안을 개발하기 위해.
• 해의 품질을 희생시키지 않고도 엄격한 구조적 제약 조건 하에서 최적의 계획을 가능하게 하기 위해.

제안 방법

• 제한된 컨티전시 플래닝 문제를 부분적으로 관찰 가능한 마르코프 결정 과정(POMDP)으로 모델링하기 위해.
• k-분기 제약 조건 하에서 최적의 정책을 찾기 위해 벨먼 최적성 원리를 적용하기 위해.
• 부분 계획 중 열악한 해를 조기에 제거하기 위해 동적 프로그래밍과 프루닝 기법을 사용하기 위해.
• 계산 시간이 증가함에 따라 점차 개선되는 해를 제공하는 anytime 알고리즘을 구현하기 위해.
• 가장 유망한 부분 정책만 추적하여 후보 계획 세트를 압축 유지하기 위해.
• 상태공간 추상화와 가치 함수 근사 기법을 활용하여 계산 복잡도를 감소시키기 위해.

실험 결과

연구 질문

• RQ1 오직 k개의 결정점과 분기로 제한된 상황에서 최적의 의사결정 정책을 어떻게 찾을 수 있는가?
• RQ2 모든 가능성의 수를 열거하지 않고도 컨티전시 플랜의 공간을 효율적으로 탐색하는 방법은 무엇인가?
• RQ3 구조적 제약 조건 하에서 최적성을 보장하는 anytime 알고리즘을 설계할 수 있는가?
• RQ4 벨먼 원리에 기반한 프루닝이 제한된 컨티전시 플래닝에서 확장성에 어떻게 기여하는가?
• RQ5 명시적 열거 방법에 비해 어떤 성능 향상이 달성될 수 있는가?

주요 결과

• OKP 알고리즘은 모든 가능한 컨티전시 플랜을 명시적으로 열거하지 않고도 최적의 k-컨티전시 플랜을 성공적으로 계산한다.
• 소규모 테스트 케이스에서 알고리즘은 확장성과 효율성을 입증하며, 계산 시간 측면에서 단순한 열거 방법보다 뛰어난 성능을 보인다.
• 벨먼 최적성 원리에 기반한 프루닝은 탐색 공간을 크게 줄여 런타임 성능 향상에 기여한다.
• 알고리즘의 anytime 성격 덕분에 시간이 허락하는 한 점차 더 나은 해를 제공할 수 있다.
• 실험 결과는 제약 조건 하에서 최적의 정책을 찾는다는 점에서 메서드의 정확성을 확인한다.
• 이 방법은 복잡도가 낮고 해석 가능하며 검증 가능한 계획이 필요한 도메인에서 실용적인 계획 수립을 가능하게 한다.