[논문 리뷰] GRAC: Self-Guided and Self-Regularized Actor-Critic

Lin Shao, Yifan You외 3명|arXiv (Cornell University)|2020. 09. 18.

Reinforcement Learning in Robotics참고 문헌 27인용 수 6

한 줄 요약

GRAC는 타겟 네트워크가 필요 없도록 자기 정규화 TD 학습과 병합된 정책 기울기 및 0차 최적화(교차 엔트로피 방법)를 통한 자기 가이드 정책 향상 기법을 도입한 새로운 액터-크리틱 강화학습 알고리즘입니다. 이 알고리즘은 OpenAI Gym 라이브러리의 모든 6개의 연속 제어 과제에서 최신 기준 성능을 달성하며, 더 빠르고 안정적인 학습을 통해 이전 방법들을 능가하거나 동등하게 성능을 내고 있습니다.

ABSTRACT

Deep reinforcement learning (DRL) algorithms have successfully been demonstrated on a range of challenging decision making and control tasks. One dominant component of recent deep reinforcement learning algorithms is the target network which mitigates the divergence when learning the Q function. However, target networks can slow down the learning process due to delayed function updates. Our main contribution in this work is a self-regularized TD-learning method to address divergence without requiring a target network. Additionally, we propose a self-guided policy improvement method by combining policy-gradient with zero-order optimization to search for actions associated with higher Q-values in a broad neighborhood. This makes learning more robust to local noise in the Q function approximation and guides the updates of our actor network. Taken together, these components define GRAC, a novel self-guided and self-regularized actor critic algorithm. We evaluate GRAC on the suite of OpenAI gym tasks, achieving or outperforming state of the art in every environment tested.

연구 동기 및 목표

• 타겟 네트워크에 의존하지 않고 딥 Q-학습의 발산 문제를 해결함으로써 학습 속도를 저해하지 않도록 하는 것.
• 행동 공간 탐색을 위한 정책 기울기와 0차 최적화의 조합을 통해 정책 학습의 안정성과 샘플 효율성을 향상시키는 것.
• 최대-최소 더블 Q-학습을 통해 Q-네트워크 간 과대평가와 불일치를 줄이는 것.
• 지연된 타겟 네트워크 업데이트 없이도 안정적인 Q-값 업데이트를 가능하게 하는 자기 정규화 TD-학습 방법을 개발하는 것.
• 강력하고 안정적이며 빠른 학습을 통해 연속 제어 환경에서 최신 기준 성능을 달성하는 것.

제안 방법

• 타겟 값의 변화를 최소화하면서 TD 오차도 최소화하는 자기 정규화 항을 TD-학습에 도입하여 타겟 네트워크가 필요 없도록 하는 방법.
• 이중 단계 정책 향상 기법을 적용: 첫 번째로 정책 네트워크가 초기 행동을 출력하고, 두 번째로 교차 엔트로피 방법(Cross-Entropy Method, CEM)을 사용해 현재 행동의 이웃 영역에서 더 높은 Q-값을 가진 행동을 탐색함.
• 최대-최소 더블 Q-학습을 사용하여 타겟 값이 두 개의 Q-네트워크 출력값의 최소값으로 계산되며, 이로 인해 과대평가가 감소하고 학습이 안정화됨.
• 액터 업데이트에 두 가지 손실 함수를 조합: QLoss(정책 기울기)와 CEMLoss(0차 최적화를 통한 행동 탐색), 이로 인해 강건한 정책 업데이트가 가능해짐.
• 크리틱에서 소프트 업데이트를 위해 폴락 평균을 적용하지만, 자기 정규화 덕분에 타겟 네트워크 없이도 안정적인 학습이 가능함.
• 최대-최소 더블 Q-학습을 적용한 이중 Q-네트워크 아키텍처를 사용하여 Q-함수 크기의 균형을 유지하고 발산을 줄임.

실험 결과

연구 질문

• RQ1 딥 Q-학습이 타겟 네트워크 없이도 안정화될 수 있는가? 이는 학습 속도 향상에 기여하는가?
• RQ2 CEM과 같은 0차 최적화 방법을 통해 현재 정책 출력 주변의 고수익 행동을 탐색함으로써 정책 학습이 향상될 수 있는가?
• RQ3 최대-최소 더블 Q-학습이 클리핑된 더블 Q-학습보다 Q-네트워크 간 과대평가와 불일치를 더 효과적으로 줄이는가?
• RQ4 자기 정규화 TD-학습이 더 빠른 함수 업데이트를 가능하게 하면서도 안정적인 Q-값 추정을 유지할 수 있는가?
• RQ5 정책 기울기와 0차 최적화를 조합함으로써 연속 제어 과제에서 더 뛰어난 성능을 달성할 수 있는가?

주요 결과

• GRAC는 OpenAI Gym 라이브러리의 모든 6개의 연속 제어 과제에서 최신 기준 성능을 달성하거나 능가하며, Ant-v2, Humanoid-v2, HalfCheetah-v2를 포함한 다양한 과제에서 뛰어난 성능을 보임.
• 자기 정규화 기법을 도입하고 타겟 네트워크 없이도 DDPG 성능을 충족하거나 능가하며, 더 빠르게 학습되고 발산을 방지함.
• 제거 실험 결과, QLoss와 CEMLoss를 함께 사용할 경우 개별적으로 사용할 경우보다 더 뛰어난 성능을 보이며, Swimmer 과제에서는 CEMLoss가 특히 효과적이며, HalfCheetah 과제에서는 QLoss가 더 유의미한 기여를 함.
• 최대-최소 더블 Q-학습을 클리핑된 더블 Q-학습으로 대체할 경우 Q-값 학습이 불안정해지며, Q1이 Q2에 비해 폭발적으로 증가하여 성능 붕괴 발생.
• 크리틱 CEM 없이 학습하는 GRAC(w/o CriticCEM)는 높은 분산과 불안정한 Q-값 업데이트를 보이며, 반면 GRAC는 부드러운 Q-함수 성장과 낮은 Q1−Q2 차이를 유지함.
• 크리틱 CEM 없이 최소 Q-값 업데이트를 사용하는 GRAC(w/o CriticCEM w/ minQUpdate)는 Ant-v2와 Humanoid-v2와 같은 도전적인 과제에서 GRAC에 비해 성능이 열 劣하며, 이는 최대-최소 더블 Q-학습이 더 효과적임을 시사함.