[논문 리뷰] Continual Model-Based Reinforcement Learning with Hypernetworks

Yizhou Huang, Kevin Xie외 2명|arXiv (Cornell University)|2020. 09. 25.

Reinforcement Learning in Robotics참고 문헌 38인용 수 6

한 줄 요약

이 논문은 재난적 기억 상실 없이 비정상적인 동역학을 학습하기 위해 작업 조건부 하이퍼넷워크를 사용하는 지속적 모델 기반 강화 학습(HyperCRL) 방법을 제안한다. 고정된 용량의 하이퍼넷워크를 통해 작업별 동역학 모델을 생성하고 최근 경험만 저장함으로써, 다중 작업 학습과 유사한 성능를 달성하면서도 운동 및 조작 작업에서 기존의 지속적 학습 기반 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Effective planning in model-based reinforcement learning (MBRL) and model-predictive control (MPC) relies on the accuracy of the learned dynamics model. In many instances of MBRL and MPC, this model is assumed to be stationary and is periodically re-trained from scratch on state transition experience collected from the beginning of environment interactions. This implies that the time required to train the dynamics model - and the pause required between plan executions - grows linearly with the size of the collected experience. We argue that this is too slow for lifelong robot learning and propose HyperCRL, a method that continually learns the encountered dynamics in a sequence of tasks using task-conditional hypernetworks. Our method has three main attributes: first, it includes dynamics learning sessions that do not revisit training data from previous tasks, so it only needs to store the most recent fixed-size portion of the state transition experience; second, it uses fixed-capacity hypernetworks to represent non-stationary and task-aware dynamics; third, it outperforms existing continual learning alternatives that rely on fixed-capacity networks, and does competitively with baselines that remember an ever increasing coreset of past experience. We show that HyperCRL is effective in continual model-based reinforcement learning in robot locomotion and manipulation scenarios, such as tasks involving pushing and door opening. Our project website with videos is at this link https://rvl.cs.toronto.edu/blog/2020/hypercrl

연구 동기 및 목표

• 성장하는 경험 데이터에서 다시 시작하여 재정의되는 동역학 모델을 학습하는 지속적 모델 기반 강화 학습(MBRL)에서의 확장성 및 재난적 기억 상실 문제를 해결한다.
• 과거 전이 데이터를 저장하거나 모델 용량을 늘리지 않고도 동적 환경(예: 새로운 지형이나 물체)에서의 수명 주기적 로봇 학습을 가능하게 한다.
• 과거에 학습한 작업에서 성능 저하 없이 다양한 작업으로 일반화할 수 있는 고정 용량의 작업 조건부 동역학 모델을 개발한다.
• 하이퍼넷워크가 MBRL에서 작업별 동역학을 효과적으로 표현할 수 있음을 보여주며, 효율적인 계획 수립과 지속적 적응을 가능하게 한다.

제안 방법

• 학습된 작업 임bedding를 기반으로 타겟 동역학 모델의 가중치를 생성하는 작업 조건부 하이퍼넷워크를 사용하여, 재학습 없이도 작업별 동역학을 구현한다.
• 모든 이력 데이터를 유지할 필요 없이 최근 고정 크기의 상태 전이 경험 버퍼만 저장한다.
• 현재 작업 데이터에 대해 전이 오차를 최소화하는 손실 함수를 사용하여 하이퍼넷워크를 엔드 투 엔드로 훈련한다.
• 계획 시간 간격 동안 모델 예측 제어(MPC)를 CEM 최적화와 함께 적용하고, 하이퍼넷워크가 생성한 동역학 모델을 사용해 롤아웃을 수행한다.
• 고정된 용량 아키텍처를 사용한다: 하이퍼넷워크와 타겟 동역학 네트워크의 크기가 작업 간에 증가하지 않아 계산 및 메모리 효율성을 확보한다.
• 작업 경계 신호를 통합하여 하이퍼넷워크를 작업 정체성에 따라 조건화함으로써, 작업에 무관한 탐지 없이도 정확한 작업별 동역학 모델링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 과거 경험에 접근하지 않고도 고정 용량의 하이퍼넷워크가 지속적 MBRL에서 정확한 작업별 동역학 모델을 생성할 수 있는가?
• RQ2 다른 동역학을 가진 새로운 작업의 시퀀스를 학습할 때 제안된 방법이 재난적 기억 상실을 방지하는가?
• RQ3 과거 경험을 모두 저장하거나 재처리할 필요 없이, HyperCRL이 지속적 학습 기반 방법(EWC, SI, coreset, 미세조정 등)과 비교해 성능 유지 및 최종 작업 성능에서 어떻게 성과를 내는가?
• RQ4 모든 이력 데이터에 접근 가능한 다중 작업 학습과 유사한 성능를 달성하면서도, 모든 이력 데이터를 저장하거나 재처리할 필요 없이 HyperCRL이 성능을 유지할 수 있는가?
• RQ5 실제 로봇 학습 시나리오인 밀고 당기기, 문 열기, 블록 슬라이딩와 같은 작업에서 이 방법의 효과는 어떠한가?

주요 결과

• HyperCRL은 EWC, SI, coreset, 미세조정 기반 방법보다 모든 작업에서 성능 유지 측면에서 뛰어나며, 평균 에피소드 보상이 기반 방법들보다 항상 높았다.
• Pusher 환경에서 HyperCRL는 5개의 작업을 모두 훈련한 후 평균 에피소드 보상 109 ± 16을 기록하여 정상적인 후방 전이 효과를 보이며 모든 기반 방법들을 능가했다.
• Door 환경에서는 작업 간에 거의 일정한 성능(정규화된 보상 ≈ 1.0)을 유지하며 최소한의 기억 상실을 보였고, 다중 작업 학습 기반 방법조차도 능가했다.
• Block Sliding 환경에서는 HyperCRL가 평균 보상 73 ± 21을 기록하여 모든 지속적 학습 기반 방법들을 능가했으며, 약간의 평균 기억 상실 경향이 있었음에도 불구하고 성능이 뛰어났다.
• 시간이 지남에 따라 성능 저하가 최소한이었으며, 이전에 학습한 작업에서 보상이 유의미하게 감소하지 않아 재난적 기억 상실 완화가 효과적으로 이루어졌음을 시사했다.
• HyperCRL는 모든 데이터에 접근 가능한 다중 작업 학습과 경쟁 가능한 성능를 보였으며, 고정 크기의 경험 버퍼를 사용하고 모델 확장을 하지 않아도 되었다.