[논문 리뷰] Faster saddle-point optimization for solving large-scale Markov decision processes

Joan Bas-Serrano, Gergely Neu|arXiv (Cornell University)|2019. 09. 22.

Reinforcement Learning in Robotics참고 문헌 20인용 수 4

한 줄 요약

이 논문은 새로운 일관성 가정을 도입한 완화된 이차형 극값 문제 설정을 통해 대규모 마르코프 결정 과정(MDPs)의 더 빠른 극값 최적화 방법을 제안한다. 이는 상태 공간 크기와 무관하게 $\tilde{\mathcal{O}}(\tau_{\text{mix}}^2 N^3 / \varepsilon)$의 런타임으로 $\varepsilon$-최적 정책을 찾을 수 있으며, 완화된 최적화 하에서 최적 정책 수렴에 있어 일관성 가정이 필수적이고 충분함을 입증한다.

ABSTRACT

We consider the problem of computing optimal policies in average-reward Markov decision processes. This classical problem can be formulated as a linear program directly amenable to saddle-point optimization methods, albeit with a number of variables that is linear in the number of states. To address this issue, recent work has considered a linearly relaxed version of the resulting saddle-point problem. Our work aims at achieving a better understanding of this relaxed optimization problem by characterizing the conditions necessary for convergence to the optimal policy, and designing an optimization algorithm enjoying fast convergence rates that are independent of the size of the state space. Notably, our characterization points out some potential issues with previous work.

연구 동기 및 목표

• 동적 프ogramming에 의존하지 않고, 대규모 평균 보상 MDPs를 증명 가능하게 효율적으로 해결할 수 있는 볼록 최적화 기반 방법을 개발하기 위해.
• 완화된 극값 문제 설정이 최적 정책을 도출할 수 있는 조건을 규명하기 위해, 실현 가능성과 새로 정의된 일관성 조건에 집중하기 위해.
• 상태 공간 크기와 무관한 수렴 속도를 갖는 최적화 알고리즘을 설계하기 위해, 이는 이전 방법의 $1/\varepsilon^2$ 의존성보다 향상된 것이다.
• 일관성 가정이 없을 경우 완화된 문제의 해가 최적 정책을 도출하지 못하는 반례를 구성함으로써, 이 가정의 필요성을 입증하기 위해.
• 특징 기반 정책 최적화의 이론적 기초를 명확히 하여, 가치 함수의 근사와 정책의 부분최적성 간의 차이를 분명히 하기 위해.

제안 방법

• 선형계획법의 이중성 원리를 통해 평균 보상 MDP 문제를 이차형 극값 문제로 재구성한다.
• 특징 매핑 $F$와 $W$를 사용해 가치 함수와 정책을 매개변수화함으로써 차원을 감소시키는 완화된 최적화 문제를 도입한다.
• Mirror Prox 알고리즘을 사용해 완화된 극값 문제를 해결함으로써, $\tilde{\mathcal{O}}(\tau_{\text{mix}}^2 N^3 / \varepsilon)$의 런타임으로 빠른 수렴을 보장한다.
• 완화된 공간에서의 최적 해가 최적 정책에 대응하도록 보장하기 위해, 특징 매핑 $F$와 $W$ 간의 관계를 정의하는 새로운 일관성 가정을 도입한다.
• 해를 복원할 수 있도록 $y^*$를 통한 정책의 이중 표현을 정의함으로써, 완화된 해로부터 정책을 복구할 수 있도록 한다. 즉, $\mu^* = W^T y^*$.
• 일관성 가정이 최적성의 유지 보장을 보장함을 증명함으로써 이론적 보장을 확립한다. 반면 이 가정을 위반할 경우 부분최적 정책로 이어질 수 있음을 입증한다.

실험 결과

연구 질문

• RQ1 완화된 MDP 선형계획의 극값 문제 설정이 최적 정책을 도출할 수 있는 조건은 무엇인가?
• RQ2 상태 공간 크기와 무관한 수렴 속도를 갖는 정책 최적화를 달성할 수 있는가?
• RQ3 완화된 극값 문제 접근법의 타당성에 있어 일관성 가정이 필수적인가?
• RQ4 혼합 시간과 정책 분포 비율에 대한 종속성 측면에서, 제안된 방법은 이전 작업과 어떻게 비교되는가?
• RQ5 일관성 가정이 근사적으로만 성립할 경우, 완화된 접근의 이론적 보장은 일반화될 수 있는가?

주요 결과

• 제안된 알고리즘은 $\tilde{\mathcal{O}}(\tau_{\text{mix}}^2 N^3 / \varepsilon)$의 런타임으로 $\varepsilon$-최적 정책을 찾을 수 있으며, 여기서 $N$은 완화된 문제의 매개변수 수이고 $\tau_{\text{mix}}$는 혼합 시간이다.
• 일관성 가정은 완화된 극값 문제 설정이 최적 정책을 도출하는 데 있어 필수적이고 충분한 조건이며, 이 가정을 위반할 경우 부분최적 해로 이어질 수 있다.
• 이전 방법에 비해 $1/\varepsilon^2$ 의존성을 $1/\varepsilon$로 개선함으로써 성능을 향상시키며, 정책 분포 균일성에 대한 $\alpha^2$ 의존성도 피함으로써, 이는 $|\mathcal{X}|$에 대해 지수적으로 증가할 수 있다.
• 저자들은 일관성 가정이 없을 경우, 심지어 완화된 문제의 최적 해조차도 최적 정책을 도출하지 못할 수 있음을 보여주는 반례를 구성하였다.
• 분석 결과, 이전의 주장(예: Chen 등, 2018)이 수렴을 위해 실현 가능성만 필요하다는 것은 잘못되었을 수 있으며, 이는 종종 위반되는 유한한 정적 분포 비율에 암묵적으로 의존하기 때문이다.
• 이전 조건보다 더 근본적이고 투명한 이론적 기초를 제공함으로써, 특징 기반 MDPs에서 최적화 알고리즘의 분석을 더 명확히 한다.