[논문 리뷰] Topological Value Iteration Algorithms

Peng Dai, Mausam외 2명|arXiv (Cornell University)|2014. 01. 16.

Bayesian Modeling and Causal Inference참고 문헌 48인용 수 47

한 줄 요약

이 논문은 상태 전이의 위상적 구조를 활용하여 강화 학습의 최적 MDP 알고리즘인 위상적 값 반복(ТVI)과 집중형 위상적 값 반복(FTVI)을 소개한다. 이 알고리즘들은 MDP를 강하게 연결된 성분(SCC)으로 분해하고, 위상 순서로 상태를 백업함으로써 전역 상태 공간 전역에 걸쳐 중복적인 백업을 방지한다. FTVI는 히ュ리스틱 검색을 통해 비최적 행동을 사전에 제거하고 관련된 성분에 집중함으로써 성능을 더욱 향상시킨다. 이로 인해 많은 도메인에서 VI, ILAO*, LRTDP, BRTDP, Bayesian-RTDP보다 최대 두 계단 정도 빠른 성능을 기록한다.

ABSTRACT

Value iteration is a powerful yet inefficient algorithm for Markov decision processes (MDPs) because it puts the majority of its effort into backing up the entire state space, which turns out to be unnecessary in many cases. In order to overcome this problem, many approaches have been proposed. Among them, ILAO* and variants of RTDP are state-of-the-art ones. These methods use reachability analysis and heuristic search to avoid some unnecessary backups. However, none of these approaches build the graphical structure of the state transitions in a pre-processing step or use the structural information to systematically decompose a problem, whereby generating an intelligent backup sequence of the state space. In this paper, we present two optimal MDP algorithms. The first algorithm, topological value iteration (TVI), detects the structure of MDPs and backs up states based on topological sequences. It (1) divides an MDP into strongly-connected components (SCCs), and (2) solves these components sequentially. TVI outperforms VI and other state-of-the-art algorithms vastly when an MDP has multiple, close-to-equal-sized SCCs. The second algorithm, focused topological value iteration (FTVI), is an extension of TVI. FTVI restricts its attention to connected components that are relevant for solving the MDP. Specifically, it uses a small amount of heuristic search to eliminate provably sub-optimal actions; this pruning allows FTVI to find smaller connected components, thus running faster. We demonstrate that FTVI outperforms TVI by an order of magnitude, averaged across several domains. Surprisingly, FTVI also significantly outperforms popular heuristically-informed MDP algorithms such as ILAO*, LRTDP, BRTDP and Bayesian-RTDP in many domains, sometimes by as much as two orders of magnitude. Finally, we characterize the type of domains where FTVI excels --- suggesting a way to an informed choice of solver.

연구 동기 및 목표

• 표준 값 반복이 전체 상태 공간에 걸쳐 중복적인 백업을 수행하는 데 기인한 비효율성을 해결하기 위해.
• 특히 강하게 연결된 성분(SCC)을 포함한 MDP의 위상적 구조를 활용하여 보다 효율적인 백업 순서를 안내하기 위해.
• 구조적 분해를 체계적으로 활용하여 불필요한 백업을 방지하면서도 최적성은 유지하는 방법을 개발하기 위해.
• 여러 개의 유사한 크기의 SCC를 포함한 MDP에서 표준 알고리즘이 성능을 저하시키는 상황에서의 성능 향상을 위해.
• 히ュ리스틱 정제를 통해 관련 성분에 국한된 계산을 제한하는 집중형 변형을 설계하여 확장성 향상시키기 위해.

제안 방법

• TVI는 그래프 분해 기법을 사용하여 MDP를 강하게 연결된 성분(SCC)으로 분해한다.
• TVI는 SCC 간의 위상 순서로 값 반복 백업을 수행함으로써, 후속 성분에서의 값이 선조 성분으로 정확히 전파되도록 보장한다.
• FTVI는 TVI를 향상시키기 위해 소량의 히ュ리스틱 검색을 사용하여 분해 이전에 확실히 비최적의 행동을 식별하고 제거한다.
• 이 정제 과정은 연결된 성분의 크기를 줄여 더 빠르고 집중적인 계산을 가능하게 한다.
• 알고리즘은 반드시 필요한 상태 전이만 처리되도록 보장함으로써 최적성을 유지한다.
• TVI와 FTVI는 모두 증명 가능한 최적성을 갖추고 있으며, MDP의 구조적 특성을 활용하여 중복 계산을 줄이도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 MDP를 강하게 연결된 성분(SCC)으로 분해하고, 위상 순서로 처리함으로써 값 반복의 성능 향상이 상당히 이루어질 수 있는가?
• RQ2 히ュ리스틱 검색을 통해 분해 이전에 비최적 행동을 효과적으로 식별하고 제거할 수 있는가? 이를 통해 관련 성분의 크기가 줄어들 수 있는가?
• RQ3 결과적으로 도출된 집중형 위상적 값 반복(FTVI) 알고리즘이 런타임과 확장성 측면에서 표준 값 반복 및 기타 최신 MDP 솔버보다 뛰어나게 성능을 발휘하는가?
• RQ4 어떤 종류의 MDP 도메인에서 FTVI가 가장 뚜렷한 성능 이점을 보이는가?
• RQ5 최적성의 손실 없이 위상적 구조를 체계적으로 활용하여 백업 순서를 안내할 수 있는가?

주요 결과

• FTVI는 여러 도메인에서 평균적으로 TVI보다 한 계단 빠른 성능을 보이며, 관련 성분에 집중된 계산 덕분이다.
• 많은 도메인에서 FTVI는 ILAO*, LRTDP, BRTDP, Bayesian-RTDP를 크게 앞서며, 때로는 최대 두 계단 정도의 성능 향상을 기록한다.
• TVI는 다수의 유사한 크기의 SCC를 포함한 MDP에서 표준 값 반복 및 기타 최신 알고리즘보다 뛰어난 성능을 보인다.
• 복잡하고 모듈화된 구조를 가진 도메인에서 비최적 행동을 효과적으로 정제할 수 있을 경우, FTVI의 성능 향상은 가장 두드러진다.
• 논문은 FTVI가 가장 뛰어난 성능을 발휘하는 MDP의 유형을 특성화하며, 구조적 특성에 기반한 솔버 선택의 근거를 제공한다.
• TVI와 FTVI는 모두 증명 가능한 최적성을 갖추고 있으며, 구조적 특성을 활용함으로써 중복 계산을 줄임과 동시에 정확성을 유지하면서 런타임 성능을 크게 향상시킨다.