[논문 리뷰] Bounded Approximate Symbolic Dynamic Programming for Hybrid MDPs

Luis Gustavo Rocha Vianna, Scott Sanner외 1명|arXiv (Cornell University)|2013. 09. 26.

Reinforcement Learning in Robotics참고 문헌 17인용 수 8

한 줄 요약

이 논문은 연속 상태와 행동을 가진 하이브리드 마르코프 결정 과정(MDP)에 대해 유한 오차를 보장하는 근사 기호 동적 프로그래밍(SDP) 방법을 제안한다. 이는 XADD 압축을 위한 제약 조건이 있는 이차형 안장점 문제를 사용한다. 이를 이중선형계획문제로 재구성하여 제약 조건 생성 기법을 통해 해를 구함으로써, 효율적이고 오차가 유한하게 제한된 압축이 가능해지며, 정확한 SDP에 비해 수배의 속도 향상을 달성한다.

ABSTRACT

Recent advances in symbolic dynamic programming (SDP) combined with the extended algebraic decision diagram (XADD) data structure have provided exact solutions for mixed discrete and continuous (hybrid) MDPs with piecewise linear dynamics and continuous actions. Since XADD-based exact solutions may grow intractably large for many problems, we propose a bounded error compression technique for XADDs that involves the solution of a constrained bilinear saddle point problem. Fortuitously, we show that given the special structure of this problem, it can be expressed as a bilevel linear programming problem and solved to optimality in finite time via constraint generation, despite having an infinite set of constraints. This solution permits the use of efficient linear program solvers for XADD compression and enables a novel class of bounded approximate SDP algorithms for hybrid MDPs that empirically offers order-of-magnitude speedups over the exact solution in exchange for a small approximation error.

연구 동기 및 목표

• 확장된 대수적 결정 다이어그램(XADD)의 크기 증가로 인해 기존 기호 동적 프로그래밍(SDP)이 비효율적이 되는 하이브리드 MDP에서 연속 상태와 행동을 다룰 때의 계산 비용 문제를 해결하기 위해.
• 해의 품질을 유지하면서 계산 복잡도를 줄이는 XADD에 대한 오차 유한 범위 보장 압축 기법을 개발하기 위해.
• 압축 문제를 해를 구할 수 있는 이중선형계획문제로 변환함으로써, 효율적인 근사 기호 동적 프로그래밍(SDP)을 가능하게 하기 위해.
• 정확한 SDP에 비해 빠른 처리 속도를 확보하면서도, 최적의 압축을 통해 오차가 유한하게 제한됨을 보장하기 위해.

제안 방법

• XADD 압축을 제약 조건이 있는 이차형 안장점 문제로 재구성하여, 오차 제한 조건 하에 근사 오차를 최소화한다.
• 안장점 문제의 특수한 구조를 활용하여, 무한 개의 제약 조건을 포함하는 이중선형계획문제로 재구성한다.
• 제약 조건 생성 기법을 통해 이중문제를 반복적으로 해결하며, 위반되는 제약 조건을 식별하고 추가하여 최적해에 도달할 때까지 반복한다.
• 표준 선형계획법 솔버를 활용하여 효율적인 계산을 수행함으로써, XADD 표현의 확장 가능한 압축을 가능하게 한다.
• 압축된 XADD를 새로운 유한 오차 보장 근사 SDP 알고리즘에 통합한다.
• 무한한 제약 조건 집합이 존재하더라도, 유한 시간 내에 최적의 압축을 보장하는 알고리즘 프레임워크를 구현한다.

실험 결과

연구 질문

• RQ1 하이브리드 MDP에서 XADD 기반 기호 동적 프로그래밍은 오차가 유한하게 제한되는 조건에서 효율적으로 압축될 수 있는가?
• RQ2 무한 개의 제약 조건을 포함하고 있음에도 불구하고, XADD 압축에서 유도된 이차형 안장점 문제는 유한 시간 내에 해를 구할 수 있는가?
• RQ3 해당 압축 방법은 정확한 SDP에 비해 빠른 처리 속도를 확보하면서도 근사 오차의 증가가 작고 정량화 가능한가?
• RQ4 압축 문제의 이중선형계획문제 재구성은 표준 솔버를 사용하여 효율적이고 최적의 해를 도출할 수 있는가?

주요 결과

• XADD 압축 문제의 이중선형계획문제 재구성은 무한한 제약 조건 집합이 존재하더라도 제약 조건 생성 기법을 통해 유한 시간 내에 최적해를 도출할 수 있다.
• 제안된 방법은 벤치마크 하이브리드 MDP 문제에서 정확한 기호 동적 프로그래밍에 비해 수배의 속도 향상을 달성한다.
• 근사 오차는 유한하고 정량적으로 제어되며, 실험 결과에 따르면 해의 품질 저하가 최소한이다.
• 표준 선형계획법 솔버의 활용으로 복잡한 하이브리드 MDP에서 효율적인 구현과 확장성이 보장된다.