[논문 리뷰] Analyzing the Variance of Policy Gradient Estimators for the Linear-Quadratic Regulator

James A. Preiss, Sébastien M. R. Arnold외 2명|arXiv (Cornell University)|2019. 10. 02.

Reinforcement Learning in Robotics참고 문헌 17인용 수 5

한 줄 요약

이 논문은 연속 상태, 연속 행동, 가우시안 노이즈가 있는 선형-제곱형 조절기(LQR) 문제에서 REINFORCE 정책 그래디언트 추정기의 분산에 대한 분석적 경계를 유도한다. 분산이 노이즈 공분산 및 시간 수평과 같은 시스템 매개변수에 비례하여 증가함을 보이며, 이 경계들이 실증적으로 검증되어 높은 행동 노이즈가 그래디언트 분산을 증가시켜도 학습 속도를 빠르게 할 수 있다는 역설적인 결과를 드러낸다.

ABSTRACT

We study the variance of the REINFORCE policy gradient estimator in environments with continuous state and action spaces, linear dynamics, quadratic cost, and Gaussian noise. These simple environments allow us to derive bounds on the estimator variance in terms of the environment and noise parameters. We compare the predictions of our bounds to the empirical variance in simulation experiments.

연구 동기 및 목표

• 연속 MDP에서 정책 그래디언트 추정기의 분산이 기초 시스템 매개변수에 어떻게 의존하는지 이해하기 위해.
• 가우시안 노이즈가 있는 유한 수평 LQR 문제에서 REINFORCE 추정기의 분산에 대한 명시적 상한 및 하한 경계를 유도하기 위해.
• 모의 LQR 환경에서 이론적 분산 경계를 실측 측정치와 검증하기 위해.
• 최적화 경계의 혼란 요소가 존재하더라도, LQR에서 그래디언트 분산과 샘플 복잡도 간의 관계를 조사하기 위해.
• 행동 노이즈가 그래디언트 분산을 증가시키더라도 학습 속도를 향상시킬 수 있는지 탐색하기 위해.

제안 방법

• 유한 수평 LQR 문제에서 선형 동역학, 제곱형 비용, 가우시안 노이즈의 구조를 이용해 REINFORCE 그래디언트 추정기의 분산에 대한 상한을 유도한다.
• 정적 정책에서 스칼라 케이스에 대한 분산 하한을 정책 그래디언트의 헤시안 기반으로 유도한다.
• 행렬 노름과 스펙트럼 반경을 사용하여 시스템 행렬(A, B), 비용 행렬(Q, R), 노이즈 공분산(Σs, Σa)을 기반으로 경계를 표현한다.
• 1000개의 랜덤 LQR 인스턴스에서 트레이젝터리를 샘플링하고 실측 그래디언트 분산을 계산하여 예측된 분산을 실증적으로 평가한다.
• 다양한 행동 노이즈(Σa)와 시스템 노이즈(Σs)에서 REINFORCE의 학습 성능을 테스트하고, 노이즈가 없는 평가 환경에서 수렴 속도를 측정한다.
• 랜덤 행렬 이론의 통찰을 활용하여 고차원 LQR 문제에서의 클러스터링 행동을 설명한다.

실험 결과

연구 질문

• RQ1 LQR 문제에서 REINFORCE 정책 그래디언트 추정기의 분산은 노이즈 공분산 및 시간 수평과 같은 시스템 매개변수에 어떻게 비례하는가?
• RQ2 분석적 경계가 확률적 LQR 환경에서 정책 그래디언트 추정의 실측 분산을 정확하게 예측할 수 있는가?
• RQ3 더 높은 행동 노이즈(Σa)가 그래디언트 분산을 증가시켜 REINFORCE 수렴을 일관되게 악화시키는가?
• RQ4 동일한 시스템 매개변수에 의해 영향을 받는 바, LQR에서 그래디언트 분산과 샘플 복잡도 간의 관계는 무엇인가?
• RQ5 왜 행동 노이즈를 증가시키면 직관적인 분산 분석과는 반대로 REINFORCE 수렴 속도가 빨라지는가?

주요 결과

• 이론적 상한 경계가 다양한 LQR 문제 인스턴스에서 실측 분산과 정성적으로 일치함을 확인함.
• 스칼라 케이스의 하한 경계가 실측 분산 추세와 일치하며, 특히 시스템 노이즈 및 행동 노이즈 매개변수에 대한 의존성에서 잘 맞는다.
• 그래디언트 분산이 시간 수평 H와 상태 차원 n에 대해 초선형으로 증가하며, 높은 유저에서 더 급격한 증가가 관찰됨.
• 그래디언트 분산이 증가함에도 불구하고 더 큰 행동 노이즈(Σa)가 REINFORCE의 수렴 속도를 빠르게 함을 확인하여, 탐색 또는 정규화 기능에서 유익한 역할을 할 수 있음.
• Σa가 매우 작고 Σs가 클 경우, 랜덤 시드 간에 고분산을 보이며 REINFORCE가 불안정해짐을 확인하여, 훈련의 임계 영역임을 시사함.
• 결과는 행동 노이즈가 학습에 미치는 영향이 분산만으로는 설명되지 않으며, 정책 탐색 및 정규화와 같은 추가 메커니즘이 존재함을 시사함.