[논문 리뷰] Randomized Linear Programming Solves the Discounted Markov Decision Problem In Nearly-Linear (Sometimes Sublinear) Running Time

Mengdi Wang|arXiv (Cornell University)|2017. 04. 06.

Reinforcement Learning in Robotics참고 문헌 26인용 수 20

한 줄 요약

이 논문은 값-정책 이중성, 적응형 샘플링, 이진 트리 데이터 구조를 활용하여 할인된 마르코프 결정 과정(DMDP)을 거의 선형 시간 내에 해결하는 랜덤화된 선형 프로그래밍 알고리즘을 제안한다. 이 알고리즘은 최악의 경우 거의 선형 런타임으로 $\epsilon$-최적 정책을 달성하고, MDP가 에르고딕하고 구조적으로 정제되어 있을 경우 선형 이하의 런타임을 보이며, 확률적 동적 프로그래밍의 새로운 복잡도 기준을 제시한다.

ABSTRACT

We propose a novel randomized linear programming algorithm for approximating the optimal policy of the discounted Markov decision problem. By leveraging the value-policy duality and binary-tree data structures, the algorithm adaptively samples state-action-state transitions and makes exponentiated primal-dual updates. We show that it finds an $ε$-optimal policy using nearly-linear run time in the worst case. When the Markov decision process is ergodic and specified in some special data formats, the algorithm finds an $ε$-optimal policy using run time linear in the total number of state-action pairs, which is sublinear in the input size. These results provide a new venue and complexity benchmarks for solving stochastic dynamic programs.

연구 동기 및 목표

• 할인된 마르코프 결정 과정(DMDP)의 최적 정책을 개선된 런타임 복잡도로 근사하는 랜덤화된 알고리즘을 개발하기.
• 정확한 최적성 대신 계산 효율성과의 교환을 통해 상태 및 행동 공간 크기 $|\mathcal{S}|$와 $|\mathcal{A}|$에 대한 의존도를 줄이기.
• 특정 구조적 경우에서 거의 선형 또는 선형 이하의 런타임을 달성함으로써, 확률적 동적 프로그래밍을 해결하는 데 있어 새로운 복잡도 기준을 설정하기.
• 값-정책 이중성과 지수형 업데이트를 통한 정보 투영을 활용하여 효율적인 정책 학습을 가능하게 하기.

제안 방법

• 값-정책 이중성과 특수하게 구성된 제약 조건 및 가중치 벡터를 사용하여 DMDP를 확률적 사다리점 문제로 공식화하기.
• 현재 랜덤화된 정책 기반으로 적응형 행동 샘플링을 적용하여 계산 오버헤드를 줄이기.
• 정보 투영을 제약 조건 집합에 적용하여 정책의 타당성을 유지하고 수렴을 촉진하는 지수형 원형-이중 업데이트를 사용하기.
• 이진 트리 데이터 구조를 활용하여 상태 전이를 시뮬레이션하고, 각 업데이트당 $\tilde{\mathcal{O}}(1)$ 시간 내에 정책 업데이트를 수행하기.
• 수렴 분석을 위해 KL 발산과 가치 함수 오차를 조합한 라파노프 함수 $\mathcal{E}^t$를 도입하기.
• 이중성 갭 $\mathcal{G}^t$가 클 경우 $\mathcal{E}^{t+1}$의 기대값이 감소함을 보여주는 재귀 기대값 경계(식 14)를 유도하기.

실험 결과

연구 질문

• RQ1 랜덤화된 알고리즘이 $\epsilon$-최적성과 함께 할인된 MDP를 거의 선형 런타임 내에 해결할 수 있는가?
• RQ2 어떤 구조적 조건(예: 에르고딕성, 데이터 형식)에서 알고리즘이 입력 크기의 선형 이하 런타임을 달성할 수 있는가?
• RQ3 적응형 샘플링과 이진 트리 데이터 구조는 정책 업데이트 단계에서 런타임 복잡도를 어떻게 감소시키는가?
• RQ4 이중성 갭 $\mathcal{G}^t$ 측면에서 제안된 원형-이중 방법의 이론적 수렴 속도는 어떠한가?
• RQ5 정보 투영을 통한 값-정책 이중성 공식화는 안정적이고 효율적인 정책 업데이트를 이끌 수 있는가?

주요 결과

• 알고리즘은 최악의 경우 거의 선형 런타임 $\tilde{\mathcal{O}}(|\mathcal{S}|^2|\mathcal{A}|)$ 내에 $\epsilon$-최적 정책을 찾는다. 이는 다항로그 인자들을 숨긴 형태이다.
• MDP가 에르고딕하고 특수한 데이터 형식으로 제공될 경우, 총 상태-행동 쌍 수에 대해 선형 런타임을 보이며, 입력 크기 $\mathcal{O}(|\mathcal{S}|^2|\mathcal{A}|)$에 대해 선형 이하가 된다.
• 기대 이중성 갭 $\mathcal{G}^t$는 $\mathcal{O}\left(\frac{1}{\sqrt{T}}\right)$ 속도로 감소하여, $\epsilon$-최적 정책 수렴을 보장한다.
• 알고리즘은 단계 크기 $\beta = (1-\gamma)\sqrt{\frac{\log|\mathcal{S}||\mathcal{A}|+1}{2|\mathcal{S}||\mathcal{A}|T}}$를 통해 수렴성과 안정성을 균형 잡는다.
• 라파노프 함수 $\mathcal{E}^t$는 기대값에서 단조 감소를 보장하며, $\mathcal{E}^1 \leq \log(|\mathcal{S}||\mathcal{A}|) + 1$ 이므로 엄밀한 수렴 경계를 확보한다.
• 이진 트리의 사용으로 정책 업데이트가 $\tilde{\mathcal{O}}(1)$ 시간 내에 가능해져, 큰 상태-행동 공간에 대한 확장성 확보가 가능하다.