[논문 리뷰] Model Primitive Hierarchical Lifelong Reinforcement Learning

Bo-Han Wu, Jayesh K. Gupta외 1명|arXiv (Cornell University)|2019. 03. 04.

Reinforcement Learning in Robotics참고 문헌 26인용 수 4

한 줄 요약

이 논문은 복잡한 작업을 하향식으로 모듈화된 하위정책과 게이팅 컨트롤러로 자동 분해할 수 있도록 다양한 열악한 세계 모델(모델 프리미티브라고 부름)을 사용하는 Model Primitive Hierarchical Lifelong Reinforcement Learning(MPHRL) 프레임워크를 제안한다. 이 방법은 하위정책을 전이하고 치명적인 잊음( catastrophic forgetting)을 방지함으로써 고차원 연속 제어 작업에서 효율적인 평생 강화학습을 가능하게 하여 표준 PPO에 비해 뛰어난 샘플 효율성 향상을 달성한다.

ABSTRACT

Learning interpretable and transferable subpolicies and performing task decomposition from a single, complex task is difficult. Some traditional hierarchical reinforcement learning techniques enforce this decomposition in a top-down manner, while meta-learning techniques require a task distribution at hand to learn such decompositions. This paper presents a framework for using diverse suboptimal world models to decompose complex task solutions into simpler modular subpolicies. This framework performs automatic decomposition of a single source task in a bottom up manner, concurrently learning the required modular subpolicies as well as a controller to coordinate them. We perform a series of experiments on high dimensional continuous action control tasks to demonstrate the effectiveness of this approach at both complex single task learning and lifelong learning. Finally, we perform ablation studies to understand the importance and robustness of different elements in the framework and limitations to this approach.

연구 동기 및 목표

• 사전에 정의된 작업 분포나 정확한 세계 모델이 없이도 복잡한 작업에 대해 이해할 수 있고 이식 가능한 하위정책을 학습하는 데 도전하는 것.
• 단일한 복잡한 작업을 관련 작업 간에 재사용 가능한 모듈화된 하위정책으로 분해함으로써 평생 강화학습을 가능하게 하는 것.
• 모델 프리미티브를 계층적 정책 분해의 기반으로 활용하여 순차적 작업 학습에서 샘플 복잡도를 줄이고 치명적인 잊음을 방지하는 것.
• 열악하고 다양한 세계 모델이 작업 분해와 전이 학습을 위한 효과적인 프리미티브로 기능할 수 있음을 보여주는 것.

제안 방법

• 프레임워크는 복잡한 작업을 더 단순한 하위작업으로 분해하는 데 도움을 주기 위해 상태공간의 각 영역에 특화된 다수의 열악한 세계 모델(모델 프리미티브라고 부름)을 사용한다.
• 각 모델 프리미티브는 현재 상태와 행동을 입력으로 받아 다음 상태를 예측하며, 동역학 예측에 대한 가중 평균 제곱오차 손실을 사용해 훈련된다.
• 게이팅 컨트롤러는 하위정책과 함께 훈련되어 현재 상태와 모델 프리미티브 예측에 기반해 하위정책을 선택하고 순서를 정하며 적응시킨다.
• 게이팅 컨트롤러는 예측된 모델 프리미티브 확률에서 유도된 교차엔트로피 타겟을 사용하는 모이스터 오브 응용자(모이스터 오브 응용자 유사) 아키텍처를 채택한다.
• 하위정책은 정책 기반 강화학습 방법을 사용해 게이팅 컨트롤러와 함께 종단 간(end-to-end)으로 훈련되며, 컨트롤러는 적절한 하위정책을 통해 행동를 라우팅하는 법을 학습한다.
• 정확한 세계 모델이나 사전 정의된 작업 분포에 의존하지 않고, 대신 모델 프리미티브의 다양성을 활용하여 강건한 분해를 가능하게 한다.

실험 결과

연구 질문

• RQ1 열악하고 다양한 세계 모델이 단일한 복잡한 작업을 재사용 가능한 모듈화된 하위정책으로 효과적으로 분해하는 데 사용될 수 있는가?
• RQ2 하위정책과 게이팅 컨트롤러를 함께 훈련함으로써 평생 강화학습에서 샘플 효율성이 어떻게 향상되는가?
• RQ3 모델 프리미티브의 사용이 순차적 작업 학습에서 치명적인 잊음과 부정적 전이를 어느 정도 완화하는가?
• RQ4 불완전하거나 노이즈가 있는 모델 프리미티브에 대해 이 프레임워크는 얼마나 강건한가? 그리고 모델 프리미티브가 수동으로 설계된 것이 아니라 학습된 경우에도 성능을 유지하는가?

주요 결과

• MPHRL은 표준 PPO에 비해 뛰어난 샘플 효율성 향상을 보였으며, 10-Maze 환경에서 80% 성공률에 도달하는 데 필요한 타임스텝 수를 50% 이상 감소시켰다.
• 각 새로운 작업마다 하위정책을 재초기화한 경우 샘플 복잡도가 5배 이상 증가했으며, 이는 하위정책 전이가 효율성 향상에 핵심적인 역할을 한다는 것을 입증한다.
• 전이 과정에서 컨트롤러를 재초기화하지 않은 경우 성능의 변동성이 증가했으며, 이는 부정적 전이로 인한 불안정성으로 인해 발생했음을 시사하며, 적절한 컨트롤러 관리의 중요성을 강조한다.
• 수동으로 설계된 모델 프리미티브 대신 학습된 모델 프리미티브를 사용한 경우 성능는 수동 설계 모델에 비해 略로 낮았지만 여전히 표준 PPO를 크게 능가했다.
• 식 (1) 대신 식 (9)를 사용하지 않은 경우 실패가 발생했으며, 모든 실험이 첫 다섯 작업을 해결하지 못했으며, 이는 교차엔트로피 타겟을 예측된 모델 프리미티브 확률과 결합하는 것이 필수적임을 시사한다.
• 프레임워크는 작업 순서와 부분적 분해에 대해 강건성을 보였으며, 원천 작업이 모든 유용한 하위정책으로 완전히 분해되지 못하더라도 높은 성능를 유지했다.