[논문 리뷰] Trajectory-wise Control Variates for Variance Reduction in Policy Gradient Methods

Ching-An Cheng, Xinyan Yan외 1명|arXiv (Cornell University)|2019. 08. 08.

Reinforcement Learning in Robotics인용 수 8

한 줄 요약

이 논문은 정책 그래디언트 방법에서 분산을 줄이기 위해 궤적 내 상태와 동작 간의 시간적 상관관계를 활용하는 새로운 궤적 단위 제어 변수인 TrajCV를 제안한다. Q-함수 근사기반으로 재귀적으로 제어 변수를 구성함으로써, 합리적인 가정 하에 최적의 분산 감소를 달성하고, 특히 장수평 작업에서 샘플 효율성을 크게 향상시킨다.

ABSTRACT

Policy gradient methods have demonstrated success in reinforcement learning tasks that have high-dimensional continuous state and action spaces. However, policy gradient methods are also notoriously sample inefficient. This can be attributed, at least in part, to the high variance in estimating the gradient of the task objective with Monte Carlo methods. Previous research has endeavored to contend with this problem by studying control variates (CVs) that can reduce the variance of estimates without introducing bias, including the early use of baselines, state dependent CVs, and the more recent state-action dependent CVs. In this work, we analyze the properties and drawbacks of previous CV techniques and, surprisingly, we find that these works have overlooked an important fact that Monte Carlo gradient estimates are generated by trajectories of states and actions. We show that ignoring the correlation across the trajectories can result in suboptimal variance reduction, and we propose a simple fix: a class of "trajectory-wise" CVs, that can further drive down the variance. We show that constructing trajectory-wise CVs can be done recursively and requires only learning state-action value functions like the previous CVs for policy gradient. We further prove that the proposed trajectory-wise CVs are optimal for variance reduction under reasonable assumptions.

연구 동기 및 목표

• 장수평 및 고차원 연속 제어 작업에서 정책 그래디언트 방법의 몬테카를로 그래디언트 추정치에서 지속적인 높은 분산 문제를 해결한다.
• 기존의 제어 변수 방법(상태 전용 및 상태-행동 의존적)이 궤적 단계 간의 시간적 상관관계를 간과하여 최적의 분산 감소를 이루지 못함을 규명한다.
• 상태 수준의 상관관계를 명시적으로 고려하는 새로운 제어 변수 클래스인 TrajCV를 제안하여, 편향을 유발하지 않으면서도 그래디언트 분산을 추가로 감소시킨다.
• 이론적 및 실험적으로 TrajCV가 합리적인 가정 하에 최적의 분산 감소를 달성할 수 있음을 입증하고, 기존의 Q-함수 근사기반으로 재귀적으로 구현 가능함을 보여준다.
• 장수평 작업에서의 시뮬레이션을 통해 TrajCV의 효과성을 검증하여, 기존의 CV 방법 대비 뛰어난 수렴 속도를 확보한다.

제안 방법

• 기존의 상태 및 상태-행동 의존적 제어 변수를 확장하여 장기적 궤적 상관관계를 포착하는 항목을 추가한, 궤적 단위 제어 변수의 가족인 TrajCV를 도입한다.
• Q-함수 근사기 $\widehat{q}^{\text{(dyn)}}(s,a) = c(s,a) + \widehat{v}(\widehat{d}(s,a))$ 를 사용하여 TrajCV를 재귀적으로 구성한다. 여기서 $\widehat{d}$ 는 학습된 동역학 모델이고, $\widehat{v}$ 는 가치 함수 근사기이다.
• 계산 효율성을 위해 $\mathbb{E}_{A_t|S_t}[\widehat{q}(S_t, A_t)]$ 의 조건부 기대값을 활용하며, 분석적 근사(예: 선형 및 가우스-뉴턴 근사)를 사용한다.
• TrajCV가 정책 그래디언트 추정치에 영향을 주지 않는 0 평균 보정 항목이므로, 구성 자체로 편향이 없음을 보장한다.
• 합리적인 가정(예: 결정론적 동역학) 하에, TrajCV가 가능한 모든 궤적 단위 제어 변수 중에서 최적의 분산 감소를 달성함을 증명한다.
• 기존의 CV 방법과 동일한 가치 함수 근사기 및 공유된 함수 근사기를 사용하여 TrajCV를 구현함으로써, 추가 데이터나 모델 학습 없이도 공정한 비교가 가능하다.

실험 결과

연구 질문

• RQ1 기존 정책 그래디언트의 제어 변수 방법은 장수평 작업에서 왜 분산을 완전히 감소시키지 못하는가?
• RQ2 궤적 단계 간의 시간적 상관관계는 정책 그래디언트 방법에서 얼마나 분산에 기여하는가?
• RQ3 명시적으로 궤적 수준의 의존성을 모델링하는 제어 변수는 상태 전용 또는 상태-행동 의존적 CV보다 더 나은 분산 감소를 달성할 수 있는가?
• RQ4 편향 없이 그래디언트 분산을 최소화하는 궤적 단위 제어 변수를 구성하는 이론적으로 최적의 방법이 존재하는가?
• RQ5 장수평 강화학습 작업에서 TrajCV는 기존의 CV 방법 대비 수렴 속도와 샘플 효율성 측면에서 어떻게 성능을 발휘하는가?

주요 결과

• TrajCV는 기존 방법이 간과하는 장기적 궤적 상관관계를 고려함으로써 그래디언트 분산을 크게 감소시킨다.
• 합리적인 가정 하에, 특히 전이 동역학이 결정론적에 가까울 경우 TrajCV가 분산 감소 측면에서 최적임을 이론적으로 입증된다.
• 실험 결과로 TrajCV는 학습 수렴 속도를 가속화하며, 궤적 수준의 분산이 지배적인 장수평 작업에서 특히 두드러진 성능 향상을 보인다.
• 분석적 근사(예: 가우스-뉴턴)를 사용하여 $\mathbb{E}_{A_t|S_t}[\widehat{q}(S_t, A_t)]$ 를 계산함으로써 계산 효율성을 향상시키면서도 낮은 분산을 유지할 수 있다.
• 작업의 수평 길이가 길어질수록 TrajCV와 이전의 CV들(상태 전용, 상태-행동) 간의 성능 격차가 커지며, 궤적 수준 모델링의 중요성을 확인한다.
• 기존의 Q-함수 근사기만을 사용하여 TrajCV를 구현할 수 있어, 새로운 데이터나 모델 학습 없이도 기존 정책 그래디언트 프레임워크에 원활하게 통합할 수 있다.