[논문 리뷰] Transfer Learning in Deep Reinforcement Learning: A Survey

Zhuangdi Zhu, Kaixiang Lin외 2명|arXiv (Cornell University)|2020. 09. 16.

Reinforcement Learning in Robotics참고 문헌 178인용 수 150

한 줄 요약

전이 학습이 깊은 강화학습에 어떻게 적용되는지에 대한 포괄적 고찰로, 지식 전이 유형, 분류 체계, 평가 지표 및 향후 방향을 자세히 다룬다.

ABSTRACT

Reinforcement learning is a learning paradigm for solving sequential decision-making problems. Recent years have witnessed remarkable progress in reinforcement learning upon the fast development of deep neural networks. Along with the promising prospects of reinforcement learning in numerous domains such as robotics and game-playing, transfer learning has arisen to tackle various challenges faced by reinforcement learning, by transferring knowledge from external expertise to facilitate the efficiency and effectiveness of the learning process. In this survey, we systematically investigate the recent progress of transfer learning approaches in the context of deep reinforcement learning. Specifically, we provide a framework for categorizing the state-of-the-art transfer learning approaches, under which we analyze their goals, methodologies, compatible reinforcement learning backbones, and practical applications. We also draw connections between transfer learning and other relevant topics from the reinforcement learning perspective and explore their potential challenges that await future research progress.

연구 동기 및 목표

• 강화학습 및 DRL의 맥락에서 전이 학습을 정의한다.
• 전이되는 지식의 유형과 DRL 백본 전반에서 그것이 어떻게 사용되는지에 따라 TL 접근법을 체계적으로 분류한다.
• DRL에서의 TL 방법의 목표, 방법론 및 응용을 분석한다.
• DRL에서의 TL에 대한 평가 지표와 향후 연구 방향을 논의한다.

제안 방법

• 전이 지식의 형태와 전이 과정에 따라 DRL에서의 TL 접근법을 분류하는 프레임워크를 제안한다.
• 전이 지식의 형식에 따라 구성된 TL 방법을 검토한다(예: 보상 형성, 시연으로부터 학습, 교사 정책, 표현).
• RL 백본과의 호환성 및 원천 도메인과 대상 도메인 사이의 차이를 분석한다.
• DRL에서의 TL 평가 지표를 요약하고 지식의 질과 양에 관련된 새로운 지표를 논의한다.

실험 결과

연구 질문

• RQ1 학습을 촉진하기 위해 DRL에서 어떤 형태의 지식을 전이할 수 있는가?
• RQ2 다양한 TL 접근법이 다양한 DRL 백본과 작업 차이와 어떻게 정렬되는가?
• RQ3 TL의 효과와 DRL에서 전이된 지식의 품질을 가장 잘 평가하는 지표는 무엇인가?
• RQ4 DRL에서의 TL의 향후 방향과 남아 있는 과제는 무엇인가?

주요 결과

• 보상 형성, 시연 학습, 정책 전이가 DRL의 핵심 TL 접근법이며 백본에 대한 적합성이 다르다.
• PBRS, PBA, DPB, and DPBA는 DRL에서 TL을 위한 잠재적 기반 보상 형성 방법의 스펙트럼을 제공한다.
• 시연 학습 및 교사 정책은 DRL 과제 간 정책 비공격적/정책 증류 형태의 지식 전이를 가능하게 한다.
• TL 평가는 숙련도(최종 성능)와 일반화(속도와 강건성) 모두를 고려하며, 필요한 지식 양 및 질과 같은 지식 중심 지표를 제안한다.
• 본 조사는 다양한 지식 형태에 대한 추론과 DRL에서의 TL을 위한 효율적이고 원칙적인 지식 활용과 같은 향후 방향을 제시한다.