[논문 리뷰] Collaborative Deep Reinforcement Learning

Kaixiang Lin, Shu Wang외 1명|arXiv (Cornell University)|2017. 02. 19.

Reinforcement Learning in Robotics참고 문헌 30인용 수 18

한 줄 요약

이 논문은 딥 킬리케이션과 새로운 딥 어라이먼트 네트워크를 사용하여 이질적인 딥 강화학습 에이전트 간의 적응형 지식 전이를 가능하게 하는 협업 딥 강화학습(CDRL) 프레임워크를 제안한다. 이 방법은 Pong 전문가에서 Bowling 에이전트로 정책 지식을 전이함으로써 샘플 효율성과 성능을 향상시키며, OpenAI Gym 환경에서 A3C에 비해 11.2% 향상된 보상 성과를 달성한다.

ABSTRACT

Besides independent learning, human learning process is highly improved by summarizing what has been learned, communicating it with peers, and subsequently fusing knowledge from different sources to assist the current learning goal. This collaborative learning procedure ensures that the knowledge is shared, continuously refined, and concluded from different perspectives to construct a more profound understanding. The idea of knowledge transfer has led to many advances in machine learning and data mining, but significant challenges remain, especially when it comes to reinforcement learning, heterogeneous model structures, and different learning tasks. Motivated by human collaborative learning, in this paper we propose a collaborative deep reinforcement learning (CDRL) framework that performs adaptive knowledge transfer among heterogeneous learning agents. Specifically, the proposed CDRL conducts a novel deep knowledge distillation method to address the heterogeneity among different learning tasks with a deep alignment network. Furthermore, we present an efficient collaborative Asynchronous Advantage Actor-Critic (cA3C) algorithm to incorporate deep knowledge distillation into the online training of agents, and demonstrate the effectiveness of the CDRL framework using extensive empirical evaluation on OpenAI gym.

연구 동기 및 목표

• 에이전트의 모델 구조가 이질적이고 다른 학습 과제를 가질 때 딥 강화학습에서 지식 전이의 과제를 해결한다.
• 공유된 아키텍처가 필요로 하는 전통적 모델 전이 방법의 한계를 극복하여 지식 전이의 구조적 유연성을 제공한다.
• 에이전트가 실시간으로 상호 학습할 수 있는 온라인, 협업형 훈련 프레임워크를 개발하여 샘플 효율성과 수렴 속도를 향상시킨다.
• 분포 갭을 메우기 위해 딥 어라이먼트 네트워크를 사용하여 다양한 환경(예: Pong 및 Bowling) 간의 지식 킬리케이션의 효과를 입증한다.
• 킬리케이션을 통한 협업 온라인 훈련을 통해 A3C와 같은 최신 기법들보다 뛰어난 성능을 달성한다.

제안 방법

• 다른 네트워크 아키텍처를 가진 학생 에이전트(예: Bowling 에이전트)로 교사 에이전트(예: Pong 전문가)의 정책 지식을 전이하는 딥 킬리케이션 방법을 제안한다.
• Pong 및 Bowling과 같은 다른 과제의 로짓을 정렬하기 위해 4개의 완전 연결 ReLU 레이어를 가진 딥 어라이먼트 네트워크를 도입하여 이질적 에이전트 간의 분포 이탈을 감소시킨다.
• 훈련 중에 온라인 지식 킬리케이션을 통합하여 실시간 협업을 가능하게 하는 효율적인 협업 비동기적 이득 액터-크리티컬(cA3C) 알고리즘을 설계한다.
• 안정적인 정책 학습을 보장하기 위해 일정 훈련 스텝 수 이후에 시작하여 딥 어라이먼트 네트워크와 킬리케이션을 단계적으로 온라인으로 훈련한다.
• 신용 할당을 위해 일반화된 이득 추정(GAE)을 사용하고, 교사 네트워크의 정렬된 로짓에서 유도된 킬리케이션 손실과 결합한다.
• 다양한 훈련 스케줄에서 어라이먼트 네트워크와 킬리케이션 전략의 효과를 검증하기 위해 오프라인 및 온라인 아블레이션 연구를 수행한다.

실험 결과

연구 질문

• RQ1 모델 아키텍처와 과제 역학의 차이가 있음에도 불구하고 이질적인 딥 강화학습 에이전트 간의 지식 전이가 효과적으로 이루어질 수 있는가?
• RQ2 딥 어라이먼트 네트워크는 서로 다른 행동 공간과 보상 구조를 가진 소스 과제(Pong)에서 타겟 과제(Bowling)로 정책 지식의 이전 가능성을 어떻게 향상시키는가?
• RQ3 지식 킬리케이션을 통한 온라인 협업 훈련은 독립적 훈련이나 표준 A3C에 비해 더 빠른 수렴과 높은 성능을 이끌어내는가?
• RQ4 온라인 협업 환경에서 어라이먼트 네트워크와 지식 킬리케이션의 훈련을 시작하는 최적의 타이밍은 무엇인가?
• RQ5 제안된 CDRL 프레임워크는 복잡한 제어 과제에서 최신 기법(A3C)에 비해 최종 성능과 샘플 효율성 측면에서 뛰어난 성능을 달성할 수 있는가?

주요 결과

• CDRL 프레임워크는 Bowling 환경에서 A3C에 비해 11.2% 향상된 보상 성과를 달성하며, 최종 평균 보상은 68.35 ± 1.32로 A3C의 61.48 ± 1.48보다 높다.
• 딥 킬리케이션은 샘플 효율성을 크게 향상시켜 Bowling 에이전트가 초기 상태에서 훈련하는 것보다 더 빨리 학습하고 높은 성능을 달성하도록 한다.
• 딥 어라이먼트 네트워크는 Pong와 Bowling 정책 간의 분포 갭을 효과적으로 감소시키며, 정렬된 Pong 로짓이 Bowling 정책 분포와 밀접하게 일치함을 보여준다.
• 어라이먼트 네트워크와 킬리케이션의 온라인 훈련 전략은 학생 에이전트가 높은 성능에 도달하기 전에 기다리지 않아도 되므로 강건성과 적응성을 입증한다.
• cA3C 알고리즘은 계속 업데이트되는 Pong 에이전트로부터 Bowling 에이전트로 지속적인 지식 전이를 가능하게 하여 동적인 교사 정책에서도 높은 성능 향상을 유지한다.
• 실험 결과, 오프라인 및 온라인 킬리케이션 전략 모두 베이스라인 A3C를 능가하며, 협업 온라인 설정에서 가장 뛰어난 성능을 기록한다.