[논문 리뷰] Randomized Linear Programming Solves the Discounted Markov Decision Problem In Nearly-Linear Running Time.

Mengdi Wang|arXiv (Cornell University)|2017. 04. 06.

Reinforcement Learning in Robotics인용 수 15

한 줄 요약

이 논문은 값-정책 이중성과 상태 전이의 적응형 샘플링을 활용하여 할인 마코프 결정 과정(MDP)을 거의 선형 시간 내에 해결하는 랜덤화된 선형 프로그래밍 알고리즘을 제안한다. 이 알고리즘은 비 ergodic MDP에서 상태-행동 쌍의 수에 대해 선형 running time를 가지며, $\epsilon$-최적 정책을 달성한다. 이는 확률적 동적 프로그래밍의 입력 크기 대비 부분선형 복잡도 기준을 제공한다.

ABSTRACT

We propose a randomized linear programming algorithm for approximating the optimal policy of the discounted Markov decision problem. By leveraging the value-policy duality, the algorithm adaptively samples state transitions and makes exponentiated primal-dual updates. We show that it finds an $\epsilon$-optimal policy using nearly-linear running time in the worst case. For Markov decision processes that are ergodic under every stationary policy, we show that the algorithm finds an $\epsilon$-optimal policy using running time linear in the total number of state-action pairs, which is sublinear in the input size. These results provide new complexity benchmarks for solving stochastic dynamic programs.

연구 동기 및 목표

• 더 빠른 실행 시간 복잡도를 갖는 확장 가능한 알고리즘을 개발하여 할인 마코프 결정 과정(MDP)을 해결하는 것.
• 값-정책 이중성을 활용하여 적응형 상태 전이 샘플링을 수행하는 랜덤화된 선형 프로그래밍 접근법을 설계하는 것.
• 일반 MDP에서 $\epsilon$-최적 정책을 찾는 데 거의 선형 실행 시간 복잡도를 확립하는 것.
• ergodic MDP에서 상태-행동 쌍의 총 수에 대해 실행 시간이 선형이며, 입력 크기 대비 부분선형이 되도록 하는 것.
• 확률적 동적 프로그래밍을 위한 새로운 복잡도 기준을 제시하는 것.

제안 방법

• 알고리즘은 값-정책 이중성을 활용하여 MDP를 선형 프로그래밍 문제로 재구성한다.
• 현재 정책 추정치에 기반하여 상태 전이를 적응형으로 샘플링하여 계산 오버헤드를 줄인다.
• 지수형 원·이중 업데이트를 적용하여 반복적으로 정책과 가치 함수 추정치를 향상시킨다.
• 샘플링 전략은 높은 확률로 $\epsilon$-최적 정책으로 수렴하도록 보장한다.
• 이중성 갭과 정책 향상 기준에 따라 탐색을 동적으로 조정한다.
• 집중 불등식과 이중성 기반 오차 제어를 사용하여 실행 시간을 경계한다.

실험 결과

연구 질문

• RQ1 랜덤화된 선형 프로그래밍 접근법이 할인 MDP를 거의 선형 시간 내에 해결할 수 있는가?
• RQ2 상태 전이의 적응형 샘플링이 수렴성과 실행 시간에 어떤 영향을 미치는가?
• RQ3 정적 정책 하에서 ergodic MDP에 대한 이 알고리즘의 실행 시간 복잡도는 무엇인가?
• RQ4 이 알고리즘이 상태-행동 쌍의 수에 대해 입력 크기 대비 부분선형 의존성을 달성할 수 있는가?
• RQ5 이 방법이 확률적 동적 프로그래밍을 위한 이론적 복잡도 기준을 어떻게 설정하는가?

주요 결과

• 이 알고리즘은 최악의 경우 거의 선형 실행 시간 내에 $\epsilon$-최적 정책을 찾는다.
• Ergodic MDP의 경우, 실행 시간은 상태-행동 쌍의 총 수에 대해 선형이며, 이는 입력 크기 대비 부분선형이다.
• 이 효율성은 적응형 샘플링과 지수형 원·이중 업데이트를 조합함으로써 달성된다.
• 전체 상태 공간의 전수 조사 방식을 피하므로 이전 방법보다 실행 시간 복잡도가 향상된다.
• 이 알고리즘은 확률적 동적 프로그래밍을 해결하는 데 새로운 복잡도 기준을 설정한다.
• 이론적 분석은 높은 확률로 수렴하고 이중성 갭 감소에 대한 날카로운 경계를 확인한다.