[논문 리뷰] Q-Learning for Continuous Actions with Cross-Entropy Guided Policies

Riley Simmons-Edler, Ben Eisner외 3명|arXiv (Cornell University)|2019. 03. 25.

Reinforcement Learning in Robotics참고 문헌 27인용 수 15

한 줄 요약

이 논문은 반복적인 교차 엔트로피 방법(Cross-Entropy Method, CEM) 샘플링과 CEM의 행동 선택을 모방하도록 훈련된 신경망 정책 네트워크를 결합한 안정적이고 효율적인 연속 행동 Q-학습 방법인 교차 엔트로피 유도 정책(Cross-Entropy Guided Policies, CGP)을 제안한다. CGP는 CEM보다 3–6배 빠른 추론 속도를 기록하면서도 훈련 분산이 낮고 하이퍼파라미터에 대한 민감도가 낮아 최신 기준 성능을 달성하며, 추론 시 계산 비용도 낮게 유지한다.

ABSTRACT

Off-Policy reinforcement learning (RL) is an important class of methods for many problem domains, such as robotics, where the cost of collecting data is high and on-policy methods are consequently intractable. Standard methods for applying Q-learning to continuous-valued action domains involve iteratively sampling the Q-function to find a good action (e.g. via hill-climbing), or by learning a policy network at the same time as the Q-function (e.g. DDPG). Both approaches make tradeoffs between stability, speed, and accuracy. We propose a novel approach, called Cross-Entropy Guided Policies, or CGP, that draws inspiration from both classes of techniques. CGP aims to combine the stability and performance of iterative sampling policies with the low computational cost of a policy network. Our approach trains the Q-function using iterative sampling with the Cross-Entropy Method (CEM), while training a policy network to imitate CEM's sampling behavior. We demonstrate that our method is more stable to train than state of the art policy network methods, while preserving equivalent inference time compute costs, and achieving competitive total reward on standard benchmarks.

연구 동기 및 목표

• 연속 제어 과제에서 오프-폴리시 딥 강화학습의 불안정성과 하이퍼파라미터 민감도 문제를 해결하기 위해.
• 성능을 유지하면서 Q-학습의 추론 시 계산 비용을 낮추기 위해, 특히 실시간 로봇 제어 응용 분야에서 유의미한 성능 향상을 이루기 위해.
• CEM 기반 행동 샘플링이 신경망 정책 네트워크 훈련을 위한 강력한 감독 신호로 기능할 수 있는지 탐색하기 위해.
• 반복적 샘플링의 안정성을 유지하면서도 정책 네트워크의 추론 효율성을 달성하는 방법을 개발하기 위해.
• CEM 유도 정책 학습 맥락에서 온라인 및 오프라인 정책 훈련의 효과를 평가하기 위해.

제안 방법

• CGP는 반복적인 CEM 샘플링을 사용하여 행동를 선택함으로써 Q-함수를 훈련하며, 이 방법이 노이즈와 국소 최적점에 대해 강건함을 활용한다.
• 정책 네트워크는 Q-함수 훈련 중 CEM이 생성한 행동 선택을 모방하도록 동시에 훈련된다.
• 정책 네트워크는 CEM이 생성한 시뮬레이션 데이터를 기반으로 지도학습 방식으로 훈련되며, 행동 예측 오차를 최소화하는 손실 함수를 사용한다.
• 이 방법은 온라인 및 오프라인 정책 훈련을 모두 지원한다: 온라인 업데이트는 Q-함수 업데이트와 동기화되어 수행되며, 오프라인 훈련은 Q-함수 수렴 후에 이루어진다.
• 추론 시에는 단지 훈련된 정책 네트워크만 사용되며, 반복적 샘플링을 피함으로써 일정하고 낮은 지연 시간을 확보한다.
• 이 방법은 표준 딥 Q-학습 프레임워크와 호환되며, DDPG, TD3, SAC와 같은 기존 알고리즘과도 조합 가능하다.

실험 결과

연구 질문

• RQ1 CEM 기반 행동 샘플링은 연속 행동 Q-학습에서 신경망 정책 네트워크 훈련을 위한 안정적이고 효과적인 감독 신호로 기능할 수 있는가?
• RQ2 CEM 샘플링과 학습된 정책을 조합함으로써, 종래의 엔드 투 엔드 정책 기반 강화학습 방법에 비해 훈련 안정성과 하이퍼파라미터에 대한 강건성이 향상되는가?
• RQ3 학습된 정책의 추론 효율성은 CEM을 직접 추론에 사용할 때와 비교해 어떻게 되는가?
• RQ4 CGP 맥락에서 온라인 정책 훈련은 오프라인 정책 훈련보다 우월한 성능을 내는가?
• RQ5 CGP는 SAC나 TD3와 같은 최신 기준 방법과 경쟁 가능한 성능을 달성하면서도, 랜덤 시드와 하이퍼파라미터 설정에 따른 분산이 낮은가?

주요 결과

• CGP는 HalfCheetah-v2와 Walker2d-v2와 같은 표준 연속 제어 벤치마크에서 SAC 및 TD3와 유사한 성능을 기록한다.
• CGP는 DDPG 및 TD3보다 훨씬 낮은 훈련 분산을 보이며, 이는 훈련 안정성이 향상되었음을 시사한다.
• CGP의 추론 시간은 CEM 기반 추론보다 3–6배 더 빠르며, HalfCheetah-v2에서 에피소드당 약 2.35초의 일정한 런타임을 기록하며 CEM 반복 횟수에 영향을 받지 않는다.
• CGP는 총 보상과 추론 속도 양면에서 기반 CEM 정책을 초월하며, 이는 모방 학습이 성능과 효율성을 모두 향상시킨다는 것을 보여준다.
• CGP에서 온라인 정책 훈련은 오프라인 훈련보다 略적으로 더 높은 성능을 기록하며, 비정적 Q-함수에서 학습하는 것이 암묵적인 정규화 효과를 제공한다는 것을 시사한다.
• QGP 기반 베이스라인에서 직접 Q-함수 최적화보다 CEM 정책이 더 효과적인 감독 신호임을 확인하였으며, 후자는 더 높은 불안정성과 하이퍼파라미터 민감도를 보였다.