[논문 리뷰] Symbolic Generalization for On-line Planning

Zhengzhu Feng, Eric A. Hansen외 1명|arXiv (Cornell University)|2012. 10. 19.

Formal Methods in Verification참고 문헌 20인용 수 39

한 줄 요약

이 논문은 상태 집합 간의 경험을 개별 상태가 아닌 그룹으로 일반화하는 데 기반한 온라인 계획 알고리즘인 기호적 실시간 동적 프ogramming(sRTDP)을 소개한다. 휴리스틱 기반으로 상태를 동적으로 그룹화함으로써, 마르코프 결정 과정(MDPs)에서 수렴하기 위해 필요한 계산 시간과 실제 환경 상호작용 수를 크게 줄인다.

ABSTRACT

Symbolic representations have been used successfully in off-line planning algorithms for Markov decision processes. We show that they can also improve the performance of on-line planners. In addition to reducing computation time, symbolic generalization can reduce the amount of costly real-world interactions required for convergence. We introduce Symbolic Real-Time Dynamic Programming (or sRTDP), an extension of RTDP. After each step of on-line interaction with an environment, sRTDP uses symbolic model-checking techniques to generalizes its experience by updating a group of states rather than a single state. We examine two heuristic approaches to dynamic grouping of states and show that they accelerate the planning process significantly in terms of both CPU time and the number of steps of interaction with the environment.

연구 동기 및 목표

• 개별 상태 업데이트에 대한 의존도를 줄임으로써 마르코프 결정 과정(MDPs)에서 온라인 계획의 효율성을 향상시키기 위해.
• 실제 계획 시나리오에서 수렴하기 위해 필요한 실제 환경 상호작용 수를 줄이기 위해.
• 모델 체킹 기법을 사용한 기호적 일반화로 실시간 동적 프로그래밍(RTDP)을 확장하기 위해.
• 계획 속도와 확장성 향상을 위해 동적으로 상태 그룹화를 위한 휴리스틱 방법을 평가하기 위해.

제안 방법

• 각 환경 상호작용 후 개별 상태가 아닌 상태 그룹을 기호적으로 업데이트함으로써 RTDP를 확장한다.
• 이진 결정 다이어그램(BDDs)을 사용하여 상태 집합을 효율적으로 표현하고 조작하기 위해 기호적 모델 체킹 기법을 활용한다.
• 가치 함수 또는 전이 구조의 유사성 기반으로 상태를 유사도에 따라 동적으로 그룹화하는 두 가지 휴리스틱 접근법을 적용한다.
• 기호적 일반화를 통해 전체 상태 그룹에 걸쳐 가치 업데이트를 전파함으로써 중복 계산을 줄인다.
• 기호적 추상화를 온라인 계획에 통합하여 실시간 반응성을 유지하면서 수렴성을 향상시킨다.

실험 결과

연구 질문

• RQ1 기호적 일반화는 MDPs에서 온라인 계획 알고리즘의 성능을 향상시킬 수 있는가?
• RQ2 동적 상태 그룹화 휴리스틱은 온라인 계획에서 수렴 속도와 상호작용 비용에 어떤 영향을 미치는가?
• RQ3 기호적 모델 체킹은 RTDP에서 계산 시간과 실제 환경 상호작용 수를 얼마나 줄일 수 있는가?
• RQ4 기호적 일반화는 계획을 가속화하면서도 해의 품질을 유지하는가?

주요 결과

• sRTDP는 상태 그룹 전체에 걸쳐 업데이트를 일반화함으로써 표준 RTDP에 비해 CPU 시간을 크게 줄였다.
• 기호적 일반화 덕분에 수렴하기 위해 필요한 환경 상호작용 수가 상당히 감소했다.
• 두 가지 휴리스틱 기반의 동적 그룹화 방법이 계획 속도를 가속화했으며, 그 중 하나는 속도와 상호작용 수 감소 측면에서 뛰어난 성능을 보였다.
• 기호적 일반화가 해의 품질을 유지하면서 복잡한 MDPs에서 확장 가능한 온라인 계획을 가능하게 했다.