[논문 리뷰] Improving Policy Optimization with Generalist-Specialist Learning

Zhiwei Jia, Xuanlin Li외 4명|arXiv (Cornell University)|2022. 06. 26.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 논문은 일반화된 에이전트를 모든 환경 변형에서 미리 훈련한 후, 성능이 열악한 하위집단에 대해 전문화된 에이전트를 배치하여 고품질의 시범 데이터를 생성하고, 이를 보조 보상으로 사용해 일반화된 에이전트를 미세조정함으로써 딥 강화학습 정책 최적화를 향상시키는 메타알고리즘인 일반화-전문가 학습(GSL)을 제안한다. 이러한 시범 데이터를 통해 일반화된 에이전트는 성능 정체를 극복하고 Procgen, Meta-World, ManiSkill와 같은 도전적인 벤치마크에서 훨씬 높은 수익을 달성할 수 있다.

ABSTRACT

Generalization in deep reinforcement learning over unseen environment variations usually requires policy learning over a large set of diverse training variations. We empirically observe that an agent trained on many variations (a generalist) tends to learn faster at the beginning, yet its performance plateaus at a less optimal level for a long time. In contrast, an agent trained only on a few variations (a specialist) can often achieve high returns under a limited computational budget. To have the best of both worlds, we propose a novel generalist-specialist training framework. Specifically, we first train a generalist on all environment variations; when it fails to improve, we launch a large population of specialists with weights cloned from the generalist, each trained to master a selected small subset of variations. We finally resume the training of the generalist with auxiliary rewards induced by demonstrations of all specialists. In particular, we investigate the timing to start specialist training and compare strategies to learn generalists with assistance from specialists. We show that this framework pushes the envelope of policy learning on several challenging and popular benchmarks including Procgen, Meta-World and ManiSkill.

연구 동기 및 목표

• 다양한 환경 변형의 수가 많은 경우에 딥 강화학습에서 성능 정체 문제를 해결한다.
• 고분산 환경에서 훈련하는 동안 신경망의 치명적 망각과 치명적 무지 문제를 극복한다.
• 일반화된 에이전트와 전문가 에이전트의 장점을 활용한다: 일반화된 에이전트의 빠른 초기 학습과 전문가 에이전트의 특정 하위집단에서의 높은 성능.
• 기존 강화학습 알고리즘의 아키텍처 변경 없이도 샘플 효율성과 최종 성능을 향상시키는 확장 가능한 효율적인 프레임워크를 개발한다.

제안 방법

• 표준 강화학습 알고리즘(예: PPO)을 사용해 모든 환경 변형에서 일반화된 정책을 훈련시켜 초기 학습 속도를 높인다.
• 훈련 수익 추세를 기반으로 단순하고 적응형 정체 탐지 기준($\mathcal{H}$)을 사용해 일반화된 에이전트의 성능 정체를 식별한다.
• 일반화된 에이전트의 가중치에서 초기화된 전문화된 에이전트 집단을 배치하고, 성능이 가장 열악한 환경 변형의 소규모 타겟 집단에서 훈련시킨다.
• 모든 전문가의 시범 데이터를 보조 보상으로 사용해 일반화된 에이전트를 미세조정함으로써 고성능 행동의 모방을 통해 정책을 향상시킨다.
• 전문가-일반화된 에이전트 통합 방법을 신중히 선택해야 하며, 일致하지 않는 전문가 시범 데이터를 더 잘 처리하기 때문에 DAPG가 BC보다 성능이 뛰어나다.
• 기존의 강화학습 및 시뮬레이션 학습 파이프라인에 메타알고리즘으로 적용하여 기본 강화학습 알고리즘에 대한 변경 사항이 필요 없다.

실험 결과

연구 질문

• RQ1 모든 환경 변형에서 일반화된 에이전트를 훈련한 후에 타겟 전문가 훈련을 수행하면 단일 일반화된 에이전트만 훈련하는 것보다 최종 정책 성능이 향상되는가?
• RQ2 전문가 훈련을 시작하는 타이밍이 일반화된 에이전트의 전체 효율성과 최종 성능에 어떤 영향을 미치는가?
• RQ3 다양한 방법(예: BC 대비 DAPG)을 사용해 전문가 시범 데이터를 통합할 경우 일반화된 에이전트의 일반화 능력과 높은 수익 달성 능력에 어떤 영향을 미치는가?
• RQ4 이 프레임워크는 다양한 환경에서 훈련하는 동안 신경망 정책의 치명적 망각과 치명적 무지를 효과적으로 완화하는가?
• RQ5 아키텍처 변경 없이도 Procgen, ManiSkill, Meta-World와 같은 다양한 벤치마크에 효과적으로 적용 가능한가?

주요 결과

• DAPG를 통합 방법으로 사용한 GSL 프레임워크는 BigFish(Procgen)에서 테스트 수익 30.0 ± 0.5를 달성하여 단일 PPO 일반화된 에이전트(24.3 ± 1.1)와 다른 베이스라인보다 유의미하게 뛰어난 성능을 보였다.
• GSL에서 전문가 시범 데이터를 통합할 때 행동 복제(BC)를 사용하면 성능 저하가 발생했으며, 이는 BC에서 일관되지 않은 전문가 시범 데이터가 해로울 수 있음을 시사한다.
• 전문가 훈련 시작 시점에 대한 민감도가 낮아, 최적 시점보다 5% 이르거나 늦게 시작하더라도 성능 차이가 미미함을 확인했다.
• 일반화된 에이전트의 성능이 가장 열악한 25%의 환경 변형에서 전문가 훈련을 수행한 경우 가장 효과적인 향상가능성을 보였으며, 전략의 효과성을 확인했다.
• 1,000개의 새로운 BigFish 레벨로 구성된 검증 세트에서 GSL+DAPG는 뛰어난 일반화 성능을 유지했으며, 이는 방법이 제로샷 및 분포 외 일반화 능력을 모두 향상시킨다는 것을 시사한다.
• Procgen, Meta-World, ManiSkill 등 여러 벤치마크에서 최고 성능을 기록하여 광범위한 적용 가능성과 효과성을 입증했다.