[논문 리뷰] Reincarnating Reinforcement Learning: Reusing Prior Computation to Accelerate Progress

Rishabh Agarwal, Max Schwarzer외 3명|arXiv (Cornell University)|2022. 06. 03.

Reinforcement Learning in Robotics인용 수 6

한 줄 요약

이 논문은 설계 반복 또는 에이전트 간에 사전에 계산된 작업—예를 들어 사전 훈련된 정책과 재생 버퍼—을 재사용함으로써 강화학습(Reinforcement Learning, RL) 훈련을 가속화하는 프레임워크인 재탄생 강화학습(Reincarnating Reinforcement Learning, RRL)을 소개한다. QDagger 기반의 오프라인 사전훈련과 온라인 미세조정을 통해 RRL는 최대 95% 적은 프레임 수로 표절 훈련과 유사한 성능을 달성하며, 아케이트, 로케모션, 실세계 풍선 탐색 작업에서 뛰어난 샘플 효율성을 입증한다.

ABSTRACT

Learning tabula rasa, that is without any prior knowledge, is the prevalent workflow in reinforcement learning (RL) research. However, RL systems, when applied to large-scale settings, rarely operate tabula rasa. Such large-scale systems undergo multiple design or algorithmic changes during their development cycle and use ad hoc approaches for incorporating these changes without re-training from scratch, which would have been prohibitively expensive. Additionally, the inefficiency of deep RL typically excludes researchers without access to industrial-scale resources from tackling computationally-demanding problems. To address these issues, we present reincarnating RL as an alternative workflow or class of problem settings, where prior computational work (e.g., learned policies) is reused or transferred between design iterations of an RL agent, or from one RL agent to another. As a step towards enabling reincarnating RL from any agent to any other agent, we focus on the specific setting of efficiently transferring an existing sub-optimal policy to a standalone value-based RL agent. We find that existing approaches fail in this setting and propose a simple algorithm to address their limitations. Equipped with this algorithm, we demonstrate reincarnating RL's gains over tabula rasa RL on Atari 2600 games, a challenging locomotion task, and the real-world problem of navigating stratospheric balloons. Overall, this work argues for an alternative approach to RL research, which we believe could significantly improve real-world RL adoption and help democratize it further. Open-sourced code and trained agents at https://agarwl.github.io/reincarnating_rl.

연구 동기 및 목표

• 대규모 및 실세계 응용 분야에서 표절 훈련(탭룰라 라사) 방식으로 RL 에이전트를 훈련하는 데 드는 높은 계산 비용과 비효율성을 해결하기 위해.
• 산업 규모 자원이 없는 연구자들이 기존 정책과 데이터를 재사용함으로써 복잡한 RL 문제에 도전할 수 있도록 하기 위해.
• 에이전트 반복 또는 에이전트 간에 이전 계산 작업을 활용하는 새로운 연구 워크플로우인 재탄생 강화학습을 체계화하기 위해.
• 오프라인 사전훈련과 온라인 미세조정을 통해 열악한 교사 정책에서 학생 에이전트로 지식을 전이함으로써 RL의 샘플 효율성을 향상시키기 위해.
• RRL이 훨씬 적은 훈련 프레임 수로 표절 훈련 성능을 따라하거나 초월할 수 있음을 입증하기 위해.

제안 방법

• 두 단계로 구성된 RRL 파이프라인을 제안: 교사 정책에서 유도된 재생 버퍼를 사용한 오프라인 사전훈련 후, 학생 에이전트를 대상으로 한 온라인 미세조정.
• 학생의 가치 함수가 교사의 행동과 일치하도록 오프라인 및 온라인 단계 모두에서 QDagger 손실을 사용.
• 학생이 전문가의 시범(재생 버퍼를 통해)을 학습하고 온라인 상호작용을 통해 향상되는, 유사한 정착 과정을 적용.
• DQN 기반 교사 정책에서 독립형 가치 기반 학생 에이전트(예: DQN 또는 Rainbow)로 지식을 전이하기 위해 적용.
• 10개의 아케이트 게임에서 50개의 시드와 95% 신뢰구간을 사용해 인간 정규화 점수와 IQM(사분위수 평균)을 평가 지표로 사용.
• 커리큘럼 스타일 훈련 적용: 대규모 재생 버퍼에서 오프라인 사전훈련을 수행한 후, 학습률을 낮춘 상태에서 온라인 RL을 수행해 학습 안정성을 높임.

실험 결과

연구 질문

• RQ1 사전에 훈련된 정책과 그 재생 버퍼와 같은 이전 계산 작업을 효과적으로 재사용하여 RL 훈련을 가속화할 수 있는가?
• RQ2 열악한 교사 정책에서 학생 에이전트로 오프라인 사전훈련과 온라인 미세조정을 통해 지식을 전이하면 표절 훈련보다 성능이 뛰어나지는가?
• RQ3 오프라인 재생 버퍼의 크기가 재탄생 과정에서 성능에 어떤 영향을 미치는가?
• RQ4 표준 Q-학습과 비교해 오프라인 및 온라인 단계 모두에서 QDagger 손실을 사용할 경우의 영향은 무엇인가?
• RQ5 RRL이 어려운 RL 벤치마크에서 샘플 복잡도를 크게 감소시키면서도 성능을 유지하거나 향상시킬 수 있는가?

주요 결과

• 재탄생 후 미세조정 후 추가로 100만 프레임만 투자해도 RRL는 표절 DQN(Adam) 대비 IQM 성능을 50% 높게 달성한다.
• 표절 DQN(Adam)이 4억 프레임을 훈련한 것과 동일한 성능을 달성하기 위해, Nature DQN에 Adam 최적화기를 사용해 재탄생 후 2000만 프레임만 훈련하면 된다.
• DQN 정책에서 재탄생한 Impala-CNN Rainbow는 표절 Impala-CNN Rainbow를 초월하며, 5000만 프레임으로 1억 프레임 성능에 도달한다.
• 교사 정책에서 50만 건의 전이만 사용해도 100만 건의 전이와 유사한 성능를 달성하지만, Asterix에서는 성능이 약간 떨어진다.
• 다양한 정책으로 교사 훈련 중에 수집된 오프라인 재생 데이터는 온-정책 데이터보다 더 뛰어난 데이터 다양성을 제공하며, 이는 성능 향상에 기여한다.
• 오프라인 및 온라인 단계 모두에서 QDagger 손실을 사용할 경우, 특히 재생 버퍼 크기가 제한된 경우(예: BLE 로케모션 작업) 더 뛰어난 성능를 기록한다.