[논문 리뷰] A Heuristic Search Algorithm for Solving First-Order MDPs

Eldar Karabaev, Olga Skvortsova|arXiv (Cornell University)|2014. 08. 09.

Logic, Reasoning, and Knowledge참고 문헌 13인용 수 15

한 줄 요약

이 논문은 첫째, 일阶 상태 추상화를 통해 개별 상태 평가를 피하고, 둘째, 히우리스틱 기반 탐색을 통해 초기 상태에서 도달 가능한 상태들에만 집중함으로써 일阶 마르코프 결정 과정(FOMDPs)을 해결하기 위한 휴리스틱 탐색 알고리즘을 제안한다. 이 방법은 FCPlanner 시스템에 구현되었으며, 2004년 국제 계획 경쟁의 확률적 트랙에서 우승을 차지하여, 문장화된 방법에 비해 상당한 효율성 향상을 입증하였다.

ABSTRACT

We present a heuristic search algorithm for solving first-order MDPs (FOMDPs). Our approach combines first-order state abstraction that avoids evaluating states individually, and heuristic search that avoids evaluating all states. Firstly, we apply state abstraction directly on the FOMDP avoiding propositionalization. Such kind of abstraction is referred to as firstorder state abstraction. Secondly, guided by an admissible heuristic, the search is restricted only to those states that are reachable from the initial state. We demonstrate the usefullness of the above techniques for solving FOMDPs on a system, referred to as FCPlanner, that entered the probabilistic track of the International Planning Competition (IPC'2004).

연구 동기 및 목표

• 큰 규모의 구조화된 도메인에 적용될 때 기존 MDP 솔버의 확장성 한계를 해결하기 위해.
• 일阶 MDPs를 문장화할 경우 계산적으로 비현실적이므로, 기호적 구조를 유지함으로써 이를 극복하기 위해.
• 초기 상태에서 도달 가능한 상태들에만 집중함으로써 탐색 공간을 줄이기 위해.
• 관계적 구조를 가진 복잡한 실제 도메인을 다룰 수 있는 효율적인 계획 시스템을 개발하기 위해.

제안 방법

• 문장화 없이 FOMDP에 직접 일阶 상태 추상화를 적용하여 관계적 구조를 유지하기 위해.
• 탐색을 유도하고 낙관적인 상태를 탐색하지 않기 위해 허용 가능한 히우리스틱을 사용하기 위해.
• 초기 상태에서 도달 가능한 상태들에 대해서만 상태 평가를 제한하기 위해, 히우리스틱 추정치에 기반하여.
• 확률적 계획을 위해 설계된 시스템인 FCPlanner에 알고리즘을 통합하기 위해.
• 명시적인 지상 상태의 열거를 피하기 위해 기호적 표현을 활용하기 위해.
• 추상화와 히우리스틱 탐색을 조합하여 FOMDP의 확장 가능한 해법을 달성하기 위해.

실험 결과

연구 질문

• RQ1 문장화 없이 일阶 상태 추상화를 FOMDP에 효과적으로 적용하여 확장성을 향상시킬 수 있는가?
• RQ2 히우리스틱 탐색은 MDP의 기호적, 관계적 표현과 효율적으로 통합될 수 있는가?
• RQ3 초기 상태에서 도달 가능한 상태들에만 집중함으로써 탐색 공간을 어느 정도 줄일 수 있는가?
• RQ4 추상화와 히우리스틱 탐색의 융합적 접근 방식이 복잡한 도메인에서 기존의 문장화된 MDP 솔버를 능가할 수 있는가?
• RQ5 실제 도메인의 계획 경쟁에서 불확실성을 다루는 데 있어 이 시스템의 효과성은 어떠한가?

주요 결과

• 제안된 알고리즘은 문장화 없이도 FOMDP를 성공적으로 해결하여 상태 공간 탐색을 상당히 줄였다.
• 이 방법에 기반한 FCPlanner는 2004년 국제 계획 경쟁의 확률적 트랙에서 우승을 차지하였다.
• 일阶 상태 추상화와 히우리스틱 탐색의 통합은 기준 대비 상당한 성능 향상을 이끌어냈다.
• 문장화된 MDP 솔버가 처리할 수 없었던 복잡한 관계적 도메인에서도 시스템의 확장성이 입증되었다.
• 허용 가능한 히우리스틱의 사용으로 최적 정책 계산이 보장되면서도 계산 효율성이 유지되었다.
• 기호적 추론과 히우리스틱 탐색의 융합이 대규모 확률적 계획에 실현 가능하고 효과적이라는 것이 결과적으로 확인되었다.