[논문 리뷰] Model-Augmented Actor-Critic: Backpropagating through Paths

Ignasi Clavera, Violet Fu외 1명|arXiv (Cornell University)|2020. 05. 16.

Reinforcement Learning in Robotics참고 문헌 34인용 수 40

한 줄 요약

MAAC는 미래 단계에서 구 differentiable 학습 모델을 통해 그래디언트를 역전파하고, 장기 학습의 안정화를 위한 종단 값을 사용하여 샘플 효율을 향상시키고, 최첨단 모델 기반 및 모델 프리 RL 방법과 비교했을 때 수렴적 성능에서 경쟁력을 갖춘다.

ABSTRACT

Current model-based reinforcement learning approaches use the model simply as a learned black-box simulator to augment the data for policy optimization or value function learning. In this paper, we show how to make more effective use of the model by exploiting its differentiability. We construct a policy optimization algorithm that uses the pathwise derivative of the learned model and policy across future timesteps. Instabilities of learning across many timesteps are prevented by using a terminal value function, learning the policy in an actor-critic fashion. Furthermore, we present a derivation on the monotonic improvement of our objective in terms of the gradient error in the model and value function. We show that our approach (i) is consistently more sample efficient than existing state-of-the-art model-based algorithms, (ii) matches the asymptotic performance of model-free algorithms, and (iii) scales to long horizons, a regime where typically past model-based approaches have struggled.

연구 동기 및 목표

• 학습된 동역학의 미분 가능성을 활용하는 모델 기반 정책 최적화 방법을 구상하고 개발한다.
• 샘플 복잡도를 줄이면서도 모델 프리 방법의 수렴적 성능을 유지하거나 이를 상회한다.
• 행위-비평 프레임워크에서 종단 값 함수를 사용하여 긴 시야의 학습을 안정화한다.
• 그래디언트 오차를 모델 및 가치 함수 근사 오차와 연결하는 이론적 보장을 제공한다.

제안 방법

• 학습된 모델을 통해 H 스텝 동안 역전파하는 모델 증강 액터-비평 목표를 제안한다: J_pi(theta)=E[ sum_{t=0}^{H-1} gamma^t r(s_t) + gamma^H Q_hat(s_H, a_H) ].
• 연산 가능한(재매개화) 경로를 사용하여 미분 가능 모델과 정책을 통해 그래디언트를 계산한다.
• 종단 Q-함수를 사용하여 그래디언트 불안정을 방지하고 H를 모델 기반 신호와 모델 프리 신호의 균형 하이퍼파라미터로 간주한다.
• 최대 가능도 학습 중 에피멕 신뢰성과 알레이토릭 불확실성을 포착하기 위해 dynamics 모델의 부트스트랩 앙상블을 학습한다.
• 값 추정 안정화를 위해 두 개의 Q-함수를 학습하고, 가치 학습에 대해 SEVE(연속적 앤섬 값 확장) 스타일 타깃을 사용한다.

실험 결과

연구 질문

• RQ1 MAAC가 샘플 효율성과 수렴적 성능 측면에서 최첨단 모델 기반 및 모델 프리 벤치마크를 능가하는가?
• RQ2 MAAC의 그래디언트 오차는 모델 및 Q-함수 도함수 오차와 시야 H와 어떤 관계가 있는가?
• RQ3 모델을 통한 역전파가 성능에 필수적인가, 테스트 시 계획(MPC)이 결과에 어떤 영향을 미치는가?
• RQ4 모델 및 함수 근사를 고려할 때 MAAC가 단조로운 개선 보장을 제공할 수 있는가?
• RQ5 모델 앙상블과 STEVE 스타일 타깃의 사용이 학습 안정성 및 성능에 어떤 영향을 미치는가?

주요 결과

환경	MAAC+MPC	MAAC
AntEnv	3.97e3 ± 1.48e3	3.06e3 ± 1.45e3
HalfCheetahEnv	1.09e4 ± 9.45e1	1.07e4 ± 2.53e2
HopperEnv	2.8e3 ± 1.1e1	2.77e3 ± 3.31e0
Walker2dEnv	1.76e3 ± 7.8e1	1.61e3 ± 4.04e2

• MAAC는 MBPO, STEVE, SVG(1), SAC에 비해 MuJoCo 기반 네 가지 벤치마크에서 우수한 샘플 효율 및 수렴적 성능을 달성한다.
• 그래디언트 오차 동작은 이론적 경계와 일치한다: 짧은 시야는 모델 미도함수 오차를 감소시키고, 긴 시야는 이를 확대한다.
• 비실행에서의 모델(비제로 시야 H)을 통한 역전파가 강한 성능에 결정적이며, STEVE 타깃은 안정성에 도움을 주지만 영향은 작다.
• 테스트 시 MPC 미세 조정 단계는 더 어려운 작업에서 추가적인 성능 향상을 가져오나 단순한 환경에서는 이득이 작다.
• 모델 앙상블과 종단 값 함수가 모델 편향을 효과적으로 완화하고 긴 시야 계획을 가능하게 하면서도 안정성을 해치지 않는다.