[논문 리뷰] CT-DQN: Control-Tutored Deep Reinforcement Learning

Francesco De Lellis, Marco Coraggio외 3명|arXiv (Cornell University)|2022. 12. 02.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

CT-DQN는 제어 지도를 통합한 딥 강화 학습 프레임워크로, 단순한 모델 기반 제어 튜터를 딥 Q-네트워크에 통합하여 학습을 가속화한다. 약간의 주기적 간섭을 통해 근사된 시스템 동역학에서 유도된 히우리스틱 제어 동작으로 탐색을 안내함으로써, CT-DQN은 OpenAI Gym의 세 가지 환경에서 빠른 수렴과 향상된 데이터 효율성을 달성한다. 표준 DQN에 비해 훨씬 적은 학습 에피소드로도 더 나은 또는 유사한 성능을 달성한다.

ABSTRACT

One of the major challenges in Deep Reinforcement Learning for control is the need for extensive training to learn the policy. Motivated by this, we present the design of the Control-Tutored Deep Q-Networks (CT-DQN) algorithm, a Deep Reinforcement Learning algorithm that leverages a control tutor, i.e., an exogenous control law, to reduce learning time. The tutor can be designed using an approximate model of the system, without any assumption about the knowledge of the system's dynamics. There is no expectation that it will be able to achieve the control objective if used stand-alone. During learning, the tutor occasionally suggests an action, thus partially guiding exploration. We validate our approach on three scenarios from OpenAI Gym: the inverted pendulum, lunar lander, and car racing. We demonstrate that CT-DQN is able to achieve better or equivalent data efficiency with respect to the classic function approximation solutions.

연구 동기 및 목표

• 딥 강화 학습을 위한 제어 과제에서 일반적으로 긴 학습 시간이 발생하는 문제를 해결하기 위해 정책 학습을 가속화하는 메커니즘을 도입하는 것.
• 정확한 시스템 동역학 지식이 없이도 근사된 시스템 모델 기반 제어 튜터를 활용하는 프레임워크를 설계하는 것.
• 학습 중 히우리스틱 제어 제안을 통해 탐색을 안내하여 딥 Q-학습의 데이터 효율성을 향상시키는 것.
• 점점 더 복잡한 제어 과제에서의 접근 방식을 검증하여 안정성과 확장성을 입증하는 것.
• DRL에서 튜터 설계 및 성능 한계에 대한 공식적 분석의 기반을 마련하는 것.

제안 방법

• 딥 Q-네트워크(DQN)의 확장인 CT-DQN을 도입하여 학습 중에 행동을 제안하는 제어 튜터를 통합한다.
• 튜터는 시스템 동역학의 근사 모델에서 유도된 단순한 피드백 제어 법칙이며, 실제 동역학의 정확한 지식이 필요하지 않다.
• 학습 중에 고정 확률 $\omega$로 튜터가 행동을 제안하며, 이는 DQN 정책의 탐색과 혼합된다.
• 튜터는 상태 기반 히우리스틱을 사용한다: 예를 들어 속도가 낮고 각도가 작을 경우 가속, 각도가 임계값을 초과하면 브레이킹.
• 경험 재생, 타겟 네트워크, 표준 DQN 구성 요소를 사용하며, 환경별로 하이퍼파라미터를 조정한다.
• 프레임워크는 인버티드 펜듈럼, 루나 랜더, 카 레이싱 세 가지 환경에서 평가되었으며, 표본화된 표기법과 딥 신경망 추정기 모두를 사용했다.

실험 결과

연구 질문

• RQ1 정확한 시스템 동역학 지식 없이도 단순한 모델 기반 제어 튜터가 딥 강화 학습에서 학습 시간을 크게 단축시킬 수 있는가?
• RQ2 제어 튜터의 통합은 복잡한 제어 과제에서 데이터 효율성과 최종 정책 성능에 어떤 영향을 미치는가?
• RQ3 튜터의 제안 품질이 학습 과정에서 관찰된 학습 가속도와 상관관계가 있는가?
• RQ4 다양한 제어 시나리오에서 CT-DQN은 누적 보상과 수렴 속도 측면에서 표준 DQN을 능가할 수 있는가?
• RQ5 제한된 시스템 정보 기반의 튜터 설계가 최종 정책의 안정성과 효과성에 어떤 영향을 미치는가?

주요 결과

• CT-DQN은 모든 세 가지 환경에서 표준 DQN보다 더 빠른 수렴 속도를 보였으며, 에피소드가 진행되면서 누적 보상이 더 빠르게 증가했다.
• 카 레이싱 환경에서, CT-DQN은 랜덤으로 생성된 트랙에서 250개의 학습 에피소드 후에 DQN보다 유의미하게 높은 게리 정책 성능($J^{\pi_{\text{greedy}}}$)을 달성했다.
• 기본 히우리스틱(예: 각도 및 속도 임계값) 기반의 매우 단순한 튜터를 사용함에도 불구하고 CT-DQN은 학습 시간을 크게 단축시켰으며, 튜터 품질에 대해 뛰어난 내성적 특성을 보였다.
• 루나 랜더나 카 레이싱과 같은 복잡한 과제에서 성과 향상이 가장 두드러졌으며, 이는 제한된 동역학 지식에도 불구하고 튜터가 의미 있는 안내를 제공했기 때문이다.
• 튜터가 단독으로 과제를 해결할 수 없더라도, 정책 효과성에 영향을 주지 않고 일관된 성능 향상을 보였다.
• 하이퍼파라미터 튜닝을 통해, 다양한 네트워크 아키텍처와 학습 설정에서도 메서드가 안정적이고 효과적임을 확인했다.