[논문 리뷰] A general sample complexity analysis of vanilla policy gradient

Rui Yuan, Robert M. Gower외 1명|arXiv (Cornell University)|2021. 07. 23.

Stochastic Gradient Optimization Techniques참고 문헌 39인용 수 7

한 줄 요약

이 논문은 경사향량 분산에 대한 새로운 ABC 가정을 도입하여 순수한 정책 그래디언트(PG) 방법의 일반적인 표본 복잡도 분석을 제공한다. 이 가정은 일반적으로 사용되는 경사 제한 가정을 포함한다. 이 논문은 일阶 정류점(FOSP) 수렴에 대해 $\tilde{\rm O}(\epsilon^{-4})$의 날카운 표본 복잡도와, 더 유연한 경사도우미 조건 하에 전역 최적해 수렴에 대해 $\tilde{\rm O}(\epsilon^{-3})$의 표본 복잡도를 확립하며, 단일 트레이젝터리 학습을 포함한 더 넓은 하이퍼파rameter 유연성을 가능하게 한다.

ABSTRACT

We adapt recent tools developed for the analysis of Stochastic Gradient Descent (SGD) in non-convex optimization to obtain convergence and sample complexity guarantees for the vanilla policy gradient (PG). Our only assumptions are that the expected return is smooth w.r.t. the policy parameters, that its $H$-step truncated gradient is close to the exact gradient, and a certain ABC assumption. This assumption requires the second moment of the estimated gradient to be bounded by $A\geq 0$ times the suboptimality gap, $B \geq 0$ times the norm of the full batch gradient and an additive constant $C \geq 0$, or any combination of aforementioned. We show that the ABC assumption is more general than the commonly used assumptions on the policy space to prove convergence to a stationary point. We provide a single convergence theorem that recovers the $\widetilde{\mathcal{O}}(ε^{-4})$ sample complexity of PG to a stationary point. Our results also affords greater flexibility in the choice of hyper parameters such as the step size and the batch size $m$, including the single trajectory case (i.e., $m=1$). When an additional relaxed weak gradient domination assumption is available, we establish a novel global optimum convergence theory of PG with $\widetilde{\mathcal{O}}(ε^{-3})$ sample complexity. We then instantiate our theorems in different settings, where we both recover existing results and obtain improved sample complexity, e.g., $\widetilde{\mathcal{O}}(ε^{-3})$ sample complexity for the convergence to the global optimum for Fisher-non-degenerated parametrized policies.

연구 동기 및 목표

• 강화학습에서 순수한 정책 그래디언트(PG) 방법의 표본 복잡도 분석을 위한 통합 이론적 프레임워크를 제공하는 것.
• 기존의 경사 제한 유형 가정을 일반화하는 경사향량 분산에 대한 ABC 가정을 도입하여 수렴 보장을 위한 가정을 완화하는 것.
• 일阶 정류점(FOSP) 수렴에 대해 날카운 표본 복잡도 경계를 확립하고, 추가 조건 하에 전역 최적해 수렴에 대해서도 동일한 목표를 달성하는 것.
• 수렴 보장을 유지하면서도 단일 트레이젝터리 학습(m=1)을 포함한 더 넓은 하이퍼파rameter 선택을 가능하게 하는 것.
• 특정 설정, 예를 들어 softmax 및 로그-바리어 파arametrization에서 기존 결과를 복원하고 향상시키는 것.

제안 방법

• 경사향량의 두 번째 모멘트가 하위최적성 갭, 전체 배치 경사의 노름, 그리고 상수의 선형 조합로 제한되는 ABC 가정을 도입한다.
• 비볼록 스토하스틱 최적화(예: SGD 분석)의 도구를 적응하여 ABC 가정 하에서 PG를 분석하며, 기대 수익의 미끄러짐과 H단계 경사의 절삭 오차를 활용한다.
• ABC 가정과 매끄러움 조건 하에서 REINFORCE 및 GPOMDP 변형에 대한 분석을 통합하는 단일 수렴 정리를 유도한다.
• 수렴 속도와 분산 제어를 균형 잡기 위해 적응형 단계 크기 규칙(예: $\eta_t = \min(1/b, 2/(\mu(t - t_0 + 2b/\mu))$)을 사용한다.
• 유연한 약한 경사도우미 조건 하에서 전역 수렴을 확립하며, 이를 통해 개선된 표본 복잡도를 달성한다.
• 특정 설정(예: softmax, log-barrier, 표본 정책, LQR)에 일반 정리를 적용하여 기존 결과를 복원하거나 향상시킨다.

실험 결과

연구 질문

• RQ1 기존 가정을 포함하고 표본 복잡도를 향상시키는 일반적이고 통합된 수렴 분석을 순수한 PG에 대해 개발할 수 있는가?
• RQ2 PG 분석에서 일반적으로 사용되는 경사 제한 가정과 비교할 때 ABC 가정은 얼마나 일반적이고 적용 가능성이 높은가?
• RQ3 ABC 가정 하에서 PG에 대해 일阶 정류점 수렴에 대해 유도할 수 있는 표본 복잡도 경계는 무엇인가?
• RQ4 분석을 전역 수렴으로 확장할 수 있으며, 유연한 경사도우미 조건 하에서 어떤 표본 복잡도가 달성 가능한가?
• RQ5 특정 정책 파arametrization(예: softmax, log-barrier)에서 일반 프레임워크가 기존 작업에 비해 더 날카운 또는 향상된 표본 복잡도를 제공하는가?

주요 결과

• ABC 가정 하에서 일阶 정류점(FOSP) 수렴에 대해 $\tilde{\rm O}(\epsilon^{-4})$의 표본 복잡도를 확립하였으며, 일부 설정에서 이는 이전 결과보다 날카롭다.
• ABC 가정이 표준 경사 제한 가정보다 더 일반적이며, 이를 특수 케이스로 포함함을 입증하였다.
• 분석은 하이퍼파라미터를 매우 자유롭게 선택할 수 있도록 허용하며, 정확한 PG의 ${\rm O}(\epsilon^{-2})$ 복잡도를 복원한다.
• 유연한 약한 경사도우미 조건 하에서 전역 최적해 수렴에 대해 새로운 $\tilde{\rm O}(\epsilon^{-3})$ 표본 복잡도를 달성하였으며, 이는 이전 결과를 향상시킨다.
• 특정 설정에서 기존 표본 복잡도 경계를 복원하고 향상시켰다. 예를 들어, 로그-바리어를 사용한 softmax의 경우 $\tilde{\rm O}(\epsilon^{-6})$를 달성하였으며, 이는 이전의 $\tilde{\rm O}(\epsilon^{-6})$ 결과보다 추가 단계 없이도 향상된 것이다. 또한 피셔 비특이 정책의 경우 $\tilde{\rm O}(\epsilon^{-3})$의 복잡도를 확보하였다.
• 이 분석은 표본 정책, LQR, 투영된 PG 등 기존에 알려진 설정에서도 기존 결과를 복원할 수 있을 정도로 일반적이며, 유효한 하이퍼파라미터 범위를 확장한다.