[논문 리뷰] Efficient Deep Reinforcement Learning via Adaptive Policy Transfer

Tianpei Yang, Jianye Hao외 9명|arXiv (Cornell University)|2020. 02. 19.

Reinforcement Learning in Robotics참고 문헌 32인용 수 5

한 줄 요약

이 논문은 다중 정책 전이를 옵션 학습 문제로 모델링하는 새로운 정책 전이 프레임워크(PTF)를 제안한다. 이는 목표 작업 학습 중에 소스 정책의 적응적 선택과 동적 종료를 가능하게 한다. 기존의 딥 강화 학습 알고리즘과 통합함으로써, 명시적인 작업 유사도 측정이 필요 없이도 이산 및 연속 제어 과제에서 최신의 전이 방법보다 뛰어난 성능을 보이며 학습 속도를 크게 향상시킨다.

ABSTRACT

Transfer Learning (TL) has shown great potential to accelerate Reinforcement Learning (RL) by leveraging prior knowledge from past learned policies of relevant tasks. Existing transfer approaches either explicitly computes the similarity between tasks or select appropriate source policies to provide guided explorations for the target task. However, how to directly optimize the target policy by alternatively utilizing knowledge from appropriate source policies without explicitly measuring the similarity is currently missing. In this paper, we propose a novel Policy Transfer Framework (PTF) to accelerate RL by taking advantage of this idea. Our framework learns when and which source policy is the best to reuse for the target policy and when to terminate it by modeling multi-policy transfer as the option learning problem. PTF can be easily combined with existing deep RL approaches. Experimental results show it significantly accelerates the learning process and surpasses state-of-the-art policy transfer methods in terms of learning efficiency and final performance in both discrete and continuous action spaces.

연구 동기 및 목표

• 기존 정책 전이 방법이 명시적인 작업 유사도 측정에 의존하거나 소스 정책이 완벽하다는 가정에 의존하는 한계를 해결하기 위해.
• 수동적인 정책 라이브러리 구축이 필요 없이 목표 작업 학습 중에 다수의 소스 정책을 효율적이고 적응적으로 재사용할 수 있도록 하기 위해.
• 소스 정책 사용을 동적으로 결정하여 부정적 전이를 방지하기 위해.
• 가장 기존의 딥 강화 학습 알고리즘(가치 기반 및 정책 기반 방법 모두)과 원활하게 통합될 수 있도록 하기 위해.
• 크고 복잡한 상태-행동 공간을 가진 환경에서 학습 효율성과 최종 성능을 향상시키기 위해.

제안 방법

• 각 소스 정책가 옵션을 갖는 옵션 학습 문제로 정책 전이를 모델링하며, 각 옵션은 자체 정책과 종료 조건을 가진다.
• 목표 정책의 원래 목적과 선택된 소스 정책의 모방 간 균형을 맞추기 위해 동적 가중 요소 f(βₒ,t)를 도입한다.
• A3C와 PPO와 같은 표준 딥 강화 학습 알고리즘을 사용하여 옵션 정책과 종료 조건을 엔드 투 엔드로 학습한다.
• 종료 확률을 성능 지표로 사용하여 열악하거나 해로운 소스 정책의 장기적 이용을 방지한다.
• 현재 유용성 기반으로 소스 정책 우선순위를 정하는 히우리스틱 메커니즘을 도입하여 옵션 간 자동 전환을 가능하게 한다.
• 소스 정책 지식을 보조 최적화 목표로 공식적으로 통합함으로써, 단일 정책이 완전히 최적일 필요 없이 부분적인 지식 전이도 가능하게 한다.

실험 결과

연구 질문

• RQ1 다중 정책 전이가 옵션 학습 문제로 효과적으로 모델링될 수 있는가? 이는 소스 정책의 적응적 재사용을 가능하게 하는가?
• RQ2 어떻게 프레임워크가 소스 정책 사용을 동적으로 선택하고 종료하여 부정적 전이를 방지할 수 있는가?
• RQ3 제안된 방법이 이산 및 연속 제어 과제 전반에서 학습 효율성과 최종 성능을 향상시킬 수 있는가?
• RQ4 가중 요소 f(βₒ,t)는 목표 정책 최적화와 소스 정책 모방 간 균형에 어떤 영향을 미치는가?
• RQ5 소스 정책이 부분적으로만 유용한 환경으로 프레임워크가 얼마나 잘 일반화되는가?

주요 결과

• PTF는 바닐라 DRL 방법에 비해 이산(그리드 월드) 및 연속(Reacher) 제어 과제에서 학습 속도를 크게 향상시킨다.
• 그리드 월드 환경에서, 소스 작업이 목표 작업과 부분적으로만 유사할 경우조차도 PTF는 deep-CAPS 및 기타 전이 기반 방법보다 뛰어난 성능을 보였다.
• Reacher 과제에서 PTF는 평균 할인 보상이 더 높았으며, PTF-A3C와 PTF-PPO는 A3C 및 PPO 기반 방법에 비해 일관된 향상을 보였다.
• 절단 실험 결과, 가중 요소 f(βₒ,t)가 핵심임을 확인할 수 있었다: 이 요소가 없을 경우 소스 정책 모방에 과도하게 의존하여 성능이 저하되었다.
• 옵션 전환 빈도는 시간이 지남에 따라 감소했으며, 이는 PTF가 적절한 시점에 가장 효과적인 소스 정책을 성공적으로 식별하고 사용하고 있음을 시사한다.
• 이 프레임워크는 연속 행동 공간으로도 잘 일반화되며, deep-CAPS와 달리 수동으로 추가된 기본 정책이 필요하지 않다.