[논문 리뷰] A Smoothed Approximate Linear Program

Vijay Desai, Vivek F. Farias외 1명|arXiv (Cornell University)|2009. 08. 04.

Reinforcement Learning in Robotics참고 문헌 10인용 수 19

한 줄 요약

이 논문은 고차원 확률적 제어 문제에서 비용-도달 함수를 근사하기 위한 새로운 선형 프로그래밍 접근법인 부드럽게 처리된 근사 선형 프로그램(SALP)을 소개한다. 기존의 하한 제약 조건을 강제하는 LP 방법들과는 달리, SALP는 부드러운 처리 기법을 사용하여 이 제약 조건을 완화함으로써 훨씬 더 날카운 근사 경계를 도출하고, 테트리스 실험에서 기존의 LP 방법들보다 열 배에 가까운 성능 향상을 보였다.

ABSTRACT

We present a novel linear program for the approximation of the dynamic programming costto-go function in high-dimensional stochastic control problems. LP approaches to approximate DP have typically relied on a natural ‘projection ’ of a well studied linear program for exact dynamic programming. Such programs restrict attention to approximations that are lower bounds to the optimal cost-to-go function. Our program—the ‘smoothed approximate linear program’— is distinct from such approaches and relaxes the restriction to lower bounding approximations in an appropriate fashion while remaining computationally tractable. Doing so appears to have several advantages: First, we demonstrate substantially superior bounds on the quality of approximation to the optimal cost-to-go function afforded by our approach. Second, experiments with our approach on a challenging problem (the game of Tetris) show that the approach outperforms the existing LP approach (which has previously been shown to be competitive with several ADP algorithms) by an order of magnitude. 1.

연구 동기 및 목표

• 비용-도달 근사에 하한 제약 조건을 강제하는 기존의 LP 기반 근사 동적 프로그래밍 방법의 한계를 해결하기 위해.
• 해결 품질을 훼손하지 않으면서 하한 제약 조건을 완화하는 계산적으로 실현 가능한 방법을 개발하기 위해.
• 고차원 확률적 제어 문제에서 비용-도달 함수 근사의 정확도를 향상시키기 위해.
• 어려운 벤치마크 문제에서 기존의 확립된 LP 기반 ADP 접근법들과 비교해 뛰어난 성능을 보여주기 위해.

제안 방법

• 최적의 비용-도달 함수에 대한 근사가 하한이 되어야 한다는 요구 조건을 완화하는 새로운 선형 프로그래밍 공식, 즉 부드럽게 처리된 근사 선형 프로그램(SALP)을 제안한다.
• 하한 제약 조건을 부드럽게 처리함으로써 더 날카우며 정확도가 높은 근사를 가능하게 하는 부드러운 처리 메커니즘을 도입한다.
• 부드러운 페널티 또는 완화 항목을 포함하면서도 선형 프로그래밍의 구조를 유지함으로써 계산적 실현 가능성을 유지한다.
• 정확한 동적 프로그래밍 LP들과 유사한 투영 기반 접근 방식을 사용하지만, 하한이 아닌 근사를 允許하는 제약 조건 집합을 수정한다.
• 기존 방법의 구조적 이점을 유지하면서도 표준 LP 솔버를 통해 효율적으로 해를 구할 수 있도록 이중 공식을 활용한다.

실험 결과

연구 질문

• RQ1 LP 기반 근사 동적 프로그래밍에서 하한 제약 조건을 완화하면 최적의 비용-도달 함수에 대한 근사 품질이 크게 향상될 수 있는가?
• RQ2 고차원 문제에서 부드럽게 처리된 근사 선형 프로그램은 기존의 LP 기반 ADP 방법들보다 성능 면에서 어떻게 비교되는가?
• RQ3 제안된 방법은 근사 정확도를 향상시키는 동안에도 계산적 실현 가능성을 유지하는가?
• RQ4 SALP는 테트리스와 같은 어려운 확률적 제어 문제에서 뛰어난 성과를 낼 수 있는가?

주요 결과

• 부드럽게 처리된 근사 선형 프로그램(SALP)은 이전의 LP 기반 방법들보다 최적의 비용-도달 함수에 대한 근사 품질에 대해 훨씬 더 날카운 경계를 달성한다.
• 테트리스 문제에 대한 실험에서 SALP는 기존의 LP 기반 접근 방식보다 한 단계 높은 성능을 보이며 뛰어난 성능을 입증했다.
• 부드러운 처리를 통한 하한 제약 조건 완화는 비용-도달 함수에 대해 더 정확하고 덜 보수적인 근사를 가능하게 한다.
• 이 방법은 계산적 실현 가능성을 유지하여 고차원 확률적 제어 문제에 대한 실용적 적용을 가능하게 한다.