[논문 리뷰] Mixed Policy Gradient.

Yang Guan, Jingliang Duan외 4명|arXiv (Cornell University)|2021. 02. 23.

Reinforcement Learning in Robotics참고 문헌 24인용 수 4

한 줄 요약

이 논문은 수렴 속도를 높이되 최적 성능를 유지하기 위해 데이터 기반 및 모델 기반 정책 기울기(policy gradient, PG)를 조합하는 새로운 강화학습 방법인 혼합 정책 기울기(Mixed Policy Gradient, MPG)를 제안한다. 시간이 지남에 따라 데이터 기반 PG의 기여도를 점차 늘리는 적응형 가중치 부여 방식을 통해 MPG는 기준선 대비 더 빠른 학습과 뛰어난 성능을 달성한다.

ABSTRACT

Reinforcement learning (RL) has great potential in sequential decision-making. At present, the mainstream RL algorithms are data-driven, relying on millions of iterations and a large number of empirical data to learn a policy. Although data-driven RL may have excellent asymptotic performance, it usually yields slow convergence speed. As a comparison, model-driven RL employs a differentiable transition model to improve convergence speed, in which the policy gradient (PG) is calculated by using the backpropagation through time (BPTT) technique. However, such methods suffer from numerical instability, model error sensitivity and low computing efficiency, which may lead to poor policies. In this paper, a mixed policy gradient (MPG) method is proposed, which uses both empirical data and the transition model to construct the PG, so as to accelerate the convergence speed without losing the optimality guarantee. MPG contains two types of PG: 1) data-driven PG, which is obtained by directly calculating the derivative of the learned Q-value function with respect to actions, and 2) model-driven PG, which is calculated using BPTT based on the model-predictive return. We unify them by revealing the correlation between the upper bound of the unified PG error and the predictive horizon, where the data-driven PG is regraded as 0-step model-predictive return. Relying on that, MPG employs a rule-based method to adaptively adjust the weights of data-driven and model-driven PGs. In particular, to get a more accurate PG, the weight of the data-driven PG is designed to grow along the learning process while the other to decrease. Besides, an asynchronous learning framework is proposed to reduce the wall-clock time needed for each update iteration. Simulation results show that the MPG method achieves the best asymptotic performance and convergence speed compared with other baseline algorithms.

연구 동기 및 목표

• 수천만 번의 반복을 거쳐야 수렴하는 데이터 기반 강화학습의 느린 수렴 문제를 해결한다.
• 시간 역전 전파(backpropagation through time, BPTT) 기반의 모델 기반 RL 방법이 가지는 수치적 불안정성, 모델 오차 민감도, 낮은 효율성 문제를 극복한다.
• 최적성 보장을 유지하면서도 학습 속도를 향상시키는, 데이터 기반 및 모델 기반 정책 기울기를 하나의 프레임워크로 통합한다.
• 학습 과정에서 시간이 지남에 따라 데이터 기반 PG의 기여도를 점차 높이는 적응형 가중치 부여 메커니즘을 개발한다.
• 업데이트 반복 주기당 벽시계 시간(wall-clock time)을 줄이기 위해 비동기 학습 프레임워크를 설계한다.

제안 방법

• 두 종류의 정책 기울기를 구축한다: 행동에 대한 학습된 Q-값 함수의 직접 도함수를 통한 데이터 기반 PG와, 모델 예측 수익에 대해 BPTT를 적용한 모델 기반 PG.
• 예측 수명 주기(predictive horizon)와의 이론적 연관성을 확립하여 두 PG를 통합한다.
• 데이터 기반 PG를 0단계 모델 예측 수익으로 간주하여 모델 기반 PG와 공식적으로 통합할 수 있도록 한다.
• 학습 과정에서 데이터 기반 PG의 가중치를 점차 증가시키고 모델 기반 PG의 가중치를 감소시키는 룰 기반 적응형 가중치 전략을 구현한다.
• 계산 지연을 줄이고 학습 효율성을 향상시키기 위해 비동기 학습 프레임워크를 도입한다.

실험 결과

연구 질문

• RQ1 데이터 기반 및 모델 기반 정책 기울기를 효과적으로 통합하여 강화학습의 수렴 속도를 향상시킬 수 있는가?
• RQ2 통합된 정책 기울기의 오차 상한(error bound)와 예측 수명 주기 사이의 이론적 관계는 무엇인가?
• RQ3 학습 과정에서 변화하는 적응형 가중치 부여 방식이 기울기 정확도와 학습 효율성을 향상시킬 수 있는가?
• RQ4 기존의 강화학습 알고리즘과 비교할 때, 제안된 MPG 방법은 수렴 속도와 최적 성능 측면에서 어떻게 다른가?
• RQ5 비동기 학습 프레임워크는 정책 품질을 떨어뜨리지 않으면서 벽시계 시간을 얼마나 줄일 수 있는가?

주요 결과

• 시뮬레이션에서 평가된 모든 기준선 알고리즘 중 MPG가 가장 뛰어난 최적 성능를 달성한다.
• 순수한 데이터 기반 및 모델 기반 RL 접근 방식과 비교해 MPG는 수렴 속도를 크게 향상시킨다.
• 적응형 가중치 부여 메커니즘이 시간이 지남에 따라 데이터 기반 PG의 기여도를 점차 증가시켜 기울기 정확도를 향상시켰다.
• 비동기 학습 프레임워크는 업데이트 반복 주기당 벽시계 시간을 줄여 학습 효율성을 향상시켰다.
• 이론적 분석을 통해 통합된 정책 기울기의 오차 상한이 더 긴 예측 수명 주기에서 감소하는 것으로 확인되어, 이 방법의 설계가 타당함을 뒷받침한다.