[논문 리뷰] Online Meta-Critic Learning for Off-Policy Actor-Critic Methods

Wei Zhou, Yiying Li외 3명|arXiv (Cornell University)|2020. 03. 11.

Adversarial Robustness in Machine Learning인용 수 9

한 줄 요약

이 논문은 오프-폴리시 액터-크리틱 강화학습을 가속화하고 향상시키기 위해 훈련 중에 동적으로 개선된 액터 손실을 학습하는 방법인 Online Meta-Critic Learning을 제안한다. 실시간으로 학습 동적 변화에 적응하는 크리틱 네트워크를 메타최적화함으로써, 사전에 작업 가족이 필요 없이 DDPG, TD3, SAC 등 다양한 환경에서의 표본 효율성과 학습 속도를 향상시킨다.

ABSTRACT

Off-Policy Actor-Critic (Off-PAC) methods have proven successful in a variety of continuous control tasks. Normally, the critic's action-value function is updated using temporal-difference, and the critic in turn provides a loss for the actor that trains it to take actions with higher expected return. In this paper, we introduce a novel and flexible meta-critic that observes the learning process and meta-learns an additional loss for the actor that accelerates and improves actor-critic learning. Compared to the vanilla critic, the meta-critic network is explicitly trained to accelerate the learning process; and compared to existing meta-learning algorithms, meta-critic is rapidly learned online for a single task, rather than slowly over a family of tasks. Crucially, our meta-critic framework is designed for off-policy based learners, which currently provide state-of-the-art reinforcement learning sample efficiency. We demonstrate that online meta-critic learning leads to improvements in avariety of continuous control environments when combined with contemporary Off-PAC methods DDPG, TD3 and the state-of-the-art SAC.

연구 동기 및 목표

• 연속 제어 작업에서 오프-폴리시 액터-크리틱 방법의 표본 효율성과 학습 속도를 향상시키기 위해.
• 훈련 중 학습 역학에 적응하지 못하는 고정된 크리틱 손실의 한계를 해결하기 위해.
• 메타학습을 위해 다수의 작업 가족이 필요로 하지 않고, 단일 작업에 대해 실시간으로 신속하게 적응할 수 있는 메타학습자를 개발하기 위해.
• 최신 오프-폴리시 알고리즘인 DDPG, TD3, SAC와 원활하게 통합하기 위해.

제안 방법

• 메타크리틱은 현재 학습 상태를 관찰하고 액터를 위한 동적 손실 신호를 메타학습하는 신경망이다.
• 메인 RL 훈련 과정 동안 온라인으로 훈련되며, 액터 성능의 기울기를 사용해 자체 파라미터를 업데이트한다.
• 메타크리틱의 손실은 목표 수익에 도달하는 데 걸리는 시간을 최소화하도록 최적화되어 있어 학습 속도 목표와 직접적으로 일치한다.
• 메타학습 방법은 오프-폴리시 프레임워크 내에서 작동하며, 오프-폴리시 리PLAY 버퍼를 활용해 표본 효율성을 유지한다.
• 메타크리틱은 메인 액터-크리틱과 함께 엔드 투 엔드로 훈련되어 학습 진행 상황에 실시간으로 적응한다.
• 메타학습을 위해 다수의 작업을 거쳐야 하는 것이 아니므로, 개별 작업에 대해 빠르게 적응할 수 있다.

실험 결과

연구 질문

• RQ1 메타학습된 크리틱 손실이 오프-폴리시 액터-크리틱 방법의 학습 속도와 최종 성능을 향상시킬 수 있는가?
• RQ2 고정된 크리틱 손실과 비교할 때 온라인 메타크리틱 러닝은 수렴 속도와 표본 효율성 측면에서 어떻게 다른가?
• RQ3 메타크리틱은 사전에 작업 분포나 다수의 작업에 대한 메타학습이 필요 없이 단일 작업에서 신속히 훈련될 수 있는가?
• RQ4 메타크리틱은 DDPG, TD3, SAC와 같은 다양한 오프-폴리시 알고리즘에서 성능 향상을 이끌 수 있는가?

주요 결과

• 온라인 메타크리틱 러닝은 표준 Off-PAC 방법과 비교해 연속 제어 환경에서 학습 속도를 크게 가속화한다.
• DDPG, TD3, SAC와 결합했을 때 HalfCheetah, Ant, Humanoid와 같은 벤치마크 작업에서 최종 성능을 향상시킨다.
• 표본 효율성을 희생시키지 않고도 더 빠른 수렴을 달성하며, 기본 알고리즘의 오프-폴리시 장점을 유지한다.
• 이 프레임워크는 여러 오프-폴리시 알고리즘에 효과적으로 적용되어 광범위한 호환성과 일반화 능력을 보여준다.
• 메타크리틱은 온라인으로 훈련되어 개별 작업에 신속하게 적응하며, 작업 가족에 대한 메타학습이 필요 없게 된다.