[논문 리뷰] Global Optimality Guarantees For Policy Gradient Methods

Jalaj Bhandari, Daniel Russo|arXiv (Cornell University)|2019. 06. 05.

Stochastic Gradient Optimization Techniques인용 수 23

한 줄 요약

이 논문은 비볼록일지라도 국소 최적점이 존재하지 않도록 보장하는 구조적 조건을 특정 MDP에 대해 규명함으로써 정책 그래디언트 방법의 전역 수렴 보장을 수립한다. 이러한 조건 하에서 정책 그래디언트 방법은 전역 최적해로 수렴하며, 폴리악–뢰자시에프 조건을 만족하여 빠른 수렴 속도를 달성한다.

ABSTRACT

Policy gradients methods apply to complex, poorly understood, control problems by performing stochastic gradient descent over a parameterized class of polices. Unfortunately, even for simple control problems solvable by standard dynamic programming techniques, policy gradient algorithms face non-convex optimization problems and are widely understood to converge only to a stationary point. This work identifies structural properties -- shared by several classic control problems -- that ensure the policy gradient objective function has no suboptimal stationary points despite being non-convex. When these conditions are strengthened, this objective satisfies a Polyak-lojasiewicz (gradient dominance) condition that yields convergence rates. We also provide bounds on the optimality gap of any stationary point when some of these conditions are relaxed.

연구 동기 및 목표

• 비볼록 목적함수에서 정책 그래디언트 방법이 국소 최적점으로만 수렴하는 오랜 문제를 해결하기 위해.
• 정책 그래디언트 목적함수에서 악성 국소 최저점이 제거되는 MDP의 구조적 성질을 규명하기 위해.
• 정책 그래디언트 방법이 전역 수렴과 빠른 수렴 속도를 달성할 수 있는 조건을 수립하기 위해.
• 정책 그래디언트 최적화를 정책 반복과 연결하여, 그 구조적 이점이 더 나은 수렴 보장을 위해 활용되도록 하기 위해.
• 이deal 조건이 완화될 경우 최적성 갭에 대한 경계를 제공하여 실세계 적용에 실용적인 통찰을 제공하기 위해.

제안 방법

• 정책 그래디언트 목적함수와 정책 반복을 연결하는 새로운 프레임워크를 도입하여, 단일 단계 문제에서의 유리한 구조적 성질이 전역 최적화 경계로 전파됨을 보여준다.
• 정책 클래스에 대해 '본질적 벨먼 오차'라고 불리는 조건을 정의하여, 정책 그래디언트 목적함수에 악성 국소 최적점이 존재하지 않도록 보장한다.
• 본질적 벨먼 오차가 0일 경우 목적함수가 폴리악–뢰자시에프(PL) 조건을 만족함을 증명하여, 그래디언트 디센트의 선형 수렴 속도를 보장한다.
• 상태 집합화를 사례 연구로 활용하여, 충분히 미세한 분할과 매끄러운 동역학 조건 하에서 본질적 벨먼 오차를 임의로 작게 만들 수 있음을 보여준다.
• 리프시츠 연속 비용 및 전이 함수 하에서 정책 근사 오차를 정량화하기 위해 통일된 근사 경계(보조정리 15)를 활용한다.
• 정책 클래스의 풍부성과 다양한 정책 간의 정책 향상 조건 충족 간의 트레이드오프 관계를 분석한다.

실험 결과

연구 질문

• RQ1 비볼록일지라도 정책 그래디언트 목적함수에 악성 국소 최적점이 존재하지 않는 MDP의 구조적 조건은 무엇인가?
• RQ2 완전한 정책 클래스의 풍부성보다 더 약한 조건 하에서도 정책 그래디언트 방법이 최적 정책으로 전역 수렴할 수 있는가?
• RQ3 최적화 경계 특성 측면에서 정책 반복과 정책 그래디언트 방법 간의 관계는 어떠한가?
• RQ4 정책 클래스의 본질적 벨먼 오차가 정책 그래디언트 목적함수의 악성 국소 최저점 존재에 어떤 영향을 미치는가?
• RQ5 구조적 MDP 성질로부터 유도된 폴리악–뢰자시에프 조건을 목적함수가 만족할 경우 보장할 수 있는 수렴 속도는 무엇인가?

주요 결과

• 정책 클래스가 본질적 벨먼 오차가 0이 되는 조건을 만족할 경우, 정책 그래디언트 목적함수에 악성 국소 최적점이 존재하지 않는다.
• 본질적 벨먼 오차가 0일 경우 목적함수는 폴리악–뢰자시에프(PL) 조건을 만족하여 그래디언트 디센트의 선형 수렴 속도를 달성할 수 있다.
• 충분히 미세한 분할과 리프시츠 연속 동역학 조건 하에서 상태 집합화 정책의 경우, 본질적 벨먼 오차는 상태와 그 대표값 간 최대 거리에 비례하는 항으로 경계될 수 있다.
• 본질적 벨먼 오차의 경계는 $ \epsilon = 2\sup_{s,a} \left[ |g(s,a) - g(\phi(s),a)| + \frac{\gamma}{1-\gamma}\|P(\cdot|s,a) - P(\cdot|\phi(s),a)\|_{\text{TV}} \right] $ 로 주어지며, 분할이 미세해질수록 이 값은 0으로 수렴한다.
• 이deal 조건이 완화되어도 논문은 임의의 정적점의 최적성 갭에 대한 경계를 제공하여 실용적인 성능 보장을 제시한다.
• 이 프레임워크는 선형-제곱 제어, 재고 제어 등 특정 문제에서의 성공을 일반적인 비볼록성 문제에 대한 도전과 연결하여, 악성 국소 최저점을 제거하는 공통된 구조적 성질을 규명한다.