[논문 리뷰] Cost Sensitive Reachability Heuristics for Handling State Uncertainty

Daniel Bryce, Subbarao Kambhampati|arXiv (Cornell University)|2012. 07. 04.

AI-based Problem Solving and Planning참고 문헌 23인용 수 5

한 줄 요약

이 논문은 비결정론적 조건부 계획법에서 상태 불확실성 하에 스케일러블하고 고품질의 계획을 가능하게 하기 위해 행동 비용 인식을 계획 그래프 휴리스틱에 통합함으로써 비용 민감한 도달 가능성 휴리스틱을 도입한다. 기존 계획법에 비해 계획 품질과 확장성 모두 향상되며, 비용이 비균일한 도메인에서 특히 유리하다.

ABSTRACT

While POMDPs provide a general platform for non-deterministic conditional planning under a variety of quality metrics they have limited scalability. On the other hand, non-deterministic conditional planners scale very well, but many lack the ability to optimize plan quality metrics. We present a novel generalization of planning graph based heuristics that helps conditional planners both scale and generate high quality plans when using actions with nonuniform costs. We make empirical comparisons with two state of the art planners to show the benefit of our techniques.

연구 동기 및 목표

• 상태 불확실성 하에서 비결정론적 조건부 계획법의 확장성과 품질 간의 상충 관계를 해결하기 위해.
• 부분 관찰 가능한 환경에서 비균일한 행동 비용을 고려할 수 있도록 계획 그래프 기반 휴리스틱을 확장하기 위해.
• 행동 비용이 크게 변동하는 도메인에서 고품질의 계획을 더 빠르게 수행할 수 있도록 하기 위해.
• 품질 최적화는 가능하지만 확장성에 한계가 있는 POMDP와는 달리, 확장성은 확보하면서도 비용 인식 최적화가 가능한 비결정론적 계획법 간 격차를 메우기 위해.

제안 방법

• 도달 가능성 분석을 수정하여 비용 민감한 경로 평가를 반영함으로써 계획 그래프 휴리스틱을 행동 비용을 고려하도록 일반화한다.
• 비용 민감한 도달 가능성 추정치를 사용하여 조건부 계획법의 탐색을 이끌며, 목표 상태에 도달하는 누적 비용이 낮은 경로를 우선순위로 한다.
• 도달 가능성과 도달 비용 추정치를 결합한 수정된 휴리스틱 함수를 도입하여 불확실한 상태 공간에서의 안내를 향상시킨다.
• 목표 상태에 도달할 수 있는지뿐 아니라 그 최소 비용까지 추적하는 역방향 도달 가능성 분석을 수행한다.
• 비결정론적 조건부 계획 프레임워크 내에서 이 휴리스틱을 적용하여 고품질의 비용 효율적인 계획으로의 탐색을 이끈다.
• 기준 문제에 대해 최신 두 개의 선도적 계획법과의 실험적 비교를 통해 접근법을 검증한다.

실험 결과

연구 질문

• RQ1 부분 관찰 가능한 도메인에서 계획 그래프 휴리스틱을 어떻게 비균일한 행동 비용을 반영하도록 확장할 수 있는가?
• RQ2 비용 민감한 휴리스틱은 비결정론적 조건부 계획법에서 확장성과 계획 품질을 동시에 향상시킬 수 있는가?
• RQ3 제안된 휴리스틱은 기존 휴리스틱과 비교해 솔루션 품질과 런타임 성능 측면에서 어떻게 다를까?
• RQ4 어떤 유형의 도메인에서 비용 민감성이 계획 효과성에 크게 기여하는가?

주요 결과

• 제안된 비용 민감한 도달 가능성 휴리스틱은 비결정론적 계획에서 기준 휴리스틱에 비해 계획 품질을 크게 향상시킨다.
• POMDP 기반 접근법보다는 확장성이 뛰어나면서도 높은 솔루션 품질을 유지한다.
• 실험적 평가 결과, 계획 비용과 탐색 효율성 측면에서 두 개의 최신 기술 계획법보다 뛰어난 성능을 보였다.
• 도달 가능성 분석에 비용 정보를 통합함으로써 더 효과적인 가지치기와 최적 또는 근사 최적 계획으로의 빠른 수렴이 가능해졌다.