[논문 리뷰] Self-Paced Contextual Reinforcement Learning

Pascal Klink, Hany Abdulsamad외 2명|arXiv (Cornell University)|2019. 10. 07.

Reinforcement Learning in Robotics참고 문헌 34인용 수 8

한 줄 요약

이 논문은 자기주도적 컨텍스트 강화학습(Self-Paced Contextual Reinforcement Learning, SPRL)을 제안한다. SPRL은 지역적 보상 향상과 목표 컨텍스트 분포로의 진전을 균형 잡는 방식으로 훈련 중 태스크 분포를 자동 조정할 수 있도록 한다. 상대 엔트로피 정책 탐색 프레임워크와 자기주도 커리큘럼을 통합함으로써, 샘플 효율성이 크게 향상되고, 보상이 희박한 어려운 로봇 작업, 예를 들어 Barrett WAM 로봇을 사용한 Ball-in-a-Cup 작업에서도 성공적인 학습이 가능해진다.

ABSTRACT

Generalization and adaptation of learned skills to novel situations is a core requirement for intelligent autonomous robots. Although contextual reinforcement learning provides a principled framework for learning and generalization of behaviors across related tasks, it generally relies on uninformed sampling of environments from an unknown, uncontrolled context distribution, thus missing the benefits of structured, sequential learning. We introduce a novel relative entropy reinforcement learning algorithm that gives the agent the freedom to control the intermediate task distribution, allowing for its gradual progression towards the target context distribution. Empirical evaluation shows that the proposed curriculum learning scheme drastically improves sample efficiency and enables learning in scenarios with both broad and sharp target context distributions in which classical approaches perform sub-optimally.

연구 동기 및 목표

• . 기존의 컨텍스트 강화학습은 알려지지 않은 컨텍스트 분포에서 무작위로 샘플링하는 데 의존하여 샘플 효율성이 떨어지고 복잡하거나 급격한 목표 분포에서는 실패하는 한계를 해결하고자 한다.
• . 학습 과정을 주도적으로 조정할 수 있도록 중간 태스크 분포를 제어함으로써 인간과 유사한 점진적 학습 방식을 모방하고자 한다.
• . 다중태스크 강화학습에서 일반화 능력과 수렴 속도를 향상시키기 위한 실용적인 자기주도 커리큘럼 메커니즘을 개발하고자 한다.
• . 지역적 성능 향상과 목표 컨텍스트 분포로의 장기적 진전 사이의 균형을 맞추어 국소 최적해에 갇히는 것을 방지하고자 한다.

제안 방법

• . 컨텍스트 상대 엔트로피 정책 탐색(C-REPS)을 사용하여 커리큘럼 학습을 일단계 최적 선택 문제로 공식화하며, 지역적 보상 극대화와 목표 컨텍스트 분포로의 기대 진전 사이의 트레이드오���을 최적화한다.
• . 현재 정책 분포와 이전 정책 분포 간의 KL 발산을 통해 제약 조건을 통합한 라그랑주 이중 공식을 도입하여 안정적인 정책 업데이트를 보장한다.
• . 알고리즘은 시간이 지남에 따라 컨텍스트의 샘플링 분포 ˜µ(c)를 동적으로 조정하며, 처음에는 쉬운, 높은 확률 영역에서 시작하여 점차 목표 분포 µ(c)로 이동한다.
• . 탐색(클로저 제약을 통한)과 이용(이점 함수 A(θ,c)를 통한) 사이의 균형을 맞추기 위해 히우리스틱 파라미터 α를 사용하며, α는 즉각적인 성능과 목표로 향하는 장기적 궤적을 모두 우선시하도록 조정된다.
• . 정책 업데이트 규칙은 최적성 조건 p∗(θ,c) ∝ q(θ,c) exp(A(θ,c)/η)에서 유도되며, 이는 이점 기반 소프트맥스 재가중을 통해 정책 분포를 재조정한다.
• . 이 프레임워크는 다른 컨텍스트 강화학습 알고리즘과 호환되며, 더 높은 데이터 효율성을 위한 단계 기반 정책 탐색으로도 확장 가능하다.

실험 결과

연구 질문

• RQ1 . 자기주도 커리큘럼 메커니즘이 보상이 희박한 로봇 작업에 대해 컨텍스트 강화학습의 샘플 효율성을 향상시킬 수 있는가?
• RQ2 . 에이전트가 중간 태스크 분포를 제어할 수 있도록 허용하면, 무작위 또는 고정된 컨텍스트 샘플링보다 수렴 속도가 빠르고 일반화 능력이 뛰어나지 않는가?
• RQ3 . 보상이 희박한 환경에서 기존 방법이 실패하는 넓은 또는 급격히 피크가 나는 목표 컨텍스트 분포를 가진 작업에서 제안된 방법은 어떻게 성능을 내는가?
• RQ4 . 전역 최적 커리큘럼에 대한 지식이 없이도 자기주도 커리큘럼을 국소 최적화 절차를 통해 효과적으로 학습할 수 있는가?
• RQ5 . 복잡한 조작 작업에서 트레이드오프 파라미터 α가 학습 속도와 최종 성능에 어떤 영향을 미치는가?

주요 결과

• . SPRL는 C-REPS, CMA-ES, GoalGAN, SAGG-RIAC와 비교해 보상이 희박한 Ball-in-a-Cup 작업에서 더 빠른 수렴 속도와 높은 성공률을 기록했으며, 200회 반복 이내 성공률가 1.0에 도달했다.
• . 기존 기반 방법이 실패하는 날카로운 목표 컨텍스트 분포 환경에서도 성공적으로 학습을 수행하여, 복잡하고 비균일한 분포에 대해 뛰어난 강건성을 입증했다.
• . 시각화된 결과(그림 5)에 따르면, 자기주도 커리큘럼은 초기에 쉬운 영역에서 출발해 점차 목표 분포 µ(c)로 이동하는 샘플링 분포 ˜µ(c)를 동적으로 조정했다. 이는 의도된 진전을 확인한다.
• . 실험 결과에 따르면, SPRL는 어려운 조작 작업, 특히 보상이 희박한 환경에서 샘플 복잡도를 수개월 정도 감소시켰다.
• . 10번의 최고 런에서 50%-분위수 성공률 측정 기준으로 모든 기준보다 뛰어난 성능을 보였으며, 그림에서 회색 10%-90% 구간은 일관된 성능을 나타낸다.
• . SPRL의 성공은 높은 차원의 희박 보상 환경에서도 KL 제약 최적화를 통해 국소 최적해를 피하고 안정적인 정책 업데이트를 유지할 수 있었기 때문으로 기인된다.