[논문 리뷰] Derivative-Free Methods for Policy Optimization: Guarantees for Linear Quadratic Systems

Dhruv Malik, Ashwin Pananjady외 4명|arXiv (Cornell University)|2018. 12. 20.

Stochastic processes and financial applications인용 수 88

한 줄 요약

페이퍼는 LQR 문제에서 선형 정책 최적화를 위한 미분 없이(제로 차수) 방법을 분석하고, 다양한 노이즈 및 피드백 설정에서 ε-근사 최적화를 달성하기 위한 명시적 다항식 샘플 복잡도 상한을 도출한다.

ABSTRACT

We study derivative-free methods for policy optimization over the class of linear policies. We focus on characterizing the convergence rate of these methods when applied to linear-quadratic systems, and study various settings of driving noise and reward feedback. We show that these methods provably converge to within any pre-specified tolerance of the optimal policy with a number of zero-order evaluations that is an explicit polynomial of the error tolerance, dimension, and curvature properties of the problem. Our analysis reveals some interesting differences between the settings of additive driving noise and random initialization, as well as the settings of one-point and two-point reward feedback. Our theory is corroborated by extensive simulations of derivative-free methods on these systems. Along the way, we derive convergence rates for stochastic zero-order optimization algorithms when applied to a certain class of non-convex problems.

연구 동기 및 목표

• 알 수 없는 동역학을 가진 선형-제곱 제어에서 정책 탐색을 위한 미분 없이 최적화의 동기 부여와 분석.
• 가산 노이즈와 무작위 초기화 하에서 제로 차수 방법의 수렴 속도와 샘플 복잡도를 특징화.
• LQR 비용의 허용오차, 차원 및 곡률 특성에 의존하는 명시적 상한을 개발.

제안 방법

• 비볼록적이며 국소적으로 매끄러운 PL 함수에 적용되는 표준 확률적 제로 차수 알고리즘을 연구한다.
• 랜덤 방향 평가와 동일한 노이즈 쌍으로부터 도출된 일점 및 이점 제로 차수 그래디언트 추정치를 사용한다.
• 다항식 수의 궤적으로 ε-근사 해를 보장하는 수렴 보장을 증명한다.
• 무작위 초기화 및 가산 노이즈를 갖는 LQR 비용 함수에 일반 결과를 특수화하여 명시적 속도를 얻는다.
• 제어된 스텝 크기와 마팅게일 추론을 통해 반복점이 안정성 영역 내에 머물도록 보장한다.

실험 결과

연구 질문

• RQ1 선형-제곱 시스템에서 ε-하위 최적 정책을 얻기 위한 미분 없이 방법의 샘플 복잡도는 얼마인가?
• RQ2 일점 피드백과 이점 피드백, 무작위 초기화와 가산 노이즈가 수렴 속도에 어떤 영향을 미치는가?
• RQ3 정확한 제로 차수 수렴 분석을 가능하게 하는 LQR 비용의 곡률 및 매끄러움 특성은 무엇인가?
• RQ4 안정성 제약이 제로 차수 LQR 최적화에서 매개변수 선택과 달성 가능한 속도에 어떠한 영향을 미치는가?

주요 결과

• 제로 차수 방법으로 높은 확률로 ε-근사 해를 O~(1/ε^2) 궤적에서 달성할 수 있다.
• 궤적당 두점 비용 관측을 사용할 경우 이 샘플 수는 O~(1/ε)로 감소한다.
• 해석은 일점 피드백과 이점 피드백 간의 이원성 및 무작위 초기화와 가산 노이즈 환경 간의 차이를 드러낸다.
• 무작위 초기화 및 노이즈 있는 동역학에 대한 모집합 LQR 비용은 스케일링 인자에 의해 동등하며 특성의 전이가 가능하다.
• 일부 설정에서 ε에 대한 의존도를 O(1/ε^4)에서 O(1/ε^2)로 개선하여 기존 상한을 정교화한다.
• 본 연구는 LQR를 넘어 비볼록 문제 클래스에 대한 확률적 제로 차수 최적화의 수렴 속도도 제시한다.