[논문 리뷰] A Probabilistic Interpretation of Self-Paced Learning with Applications to Reinforcement Learning

Pascal Klink, Hany Abdulsamad외 4명|arXiv (Cornell University)|2021. 02. 25.

Reinforcement Learning in Robotics인용 수 9

한 줄 요약

이 논문은 강화학습(RL)을 위한 자기주도적 학습(SPL)의 확률적 해석을 제안하며, 커리큘럼 생성을 작업 복잡도와 목표 작업 분포를 균형 잡는 분포에서 샘플링하는 것으로 프레임워크화한다. SPL을 RL-기반 추론 프레임워크와 통합함으로써, 다양한 강화학습 환경에서 희소 보상 상황에서도 샘플 효율성을 향상시키고 낮은 국소 최적해를 피할 수 있으며, 에피소드 기반 및 스텝 기반 RL 환경 모두에서 최신 커리큘럼 방법들을 능가한다.

ABSTRACT

Across machine learning, the use of curricula has shown strong empirical potential to improve learning from data by avoiding local optima of training objectives. For reinforcement learning (RL), curricula are especially interesting, as the underlying optimization has a strong tendency to get stuck in local optima due to the exploration-exploitation trade-off. Recently, a number of approaches for an automatic generation of curricula for RL have been shown to increase performance while requiring less expert knowledge compared to manually designed curricula. However, these approaches are seldomly investigated from a theoretical perspective, preventing a deeper understanding of their mechanics. In this paper, we present an approach for automated curriculum generation in RL with a clear theoretical underpinning. More precisely, we formalize the well-known self-paced learning paradigm as inducing a distribution over training tasks, which trades off between task complexity and the objective to match a desired task distribution. Experiments show that training on this induced distribution helps to avoid poor local optima across RL algorithms in different tasks with uninformative rewards and challenging exploration requirements.

연구 동기 및 목표

• 강화학습(RL)을 위한 자동 커리큘럼 학습(CL)은 경험적으로 성공했지만 이론적 기반 부족 문제를 해결한다.
• 자기주도적 학습을 학습 작업에 대한 확률적 샘플링 메커니즘으로 공식화하여 커리큘럼 생성을 이끌어내는 방법을 제시한다.
• SPL을 RL-기반 추론 프레임워크와 통합하여 맥락 기반 RL에서 원칙적인 커리큘럼 유도를 가능하게 한다.
• 희소 보상과 높은 탐색 요구 사항을 수반하는 도전적인 RL 환경에서 학습 효율성과 강건성을 향상시킨다.
• 다양한 RL 알고리즘과 환경에서 기존 CL 방법들에 비해 뛰어난 성능을 입증한다.

제안 방법

• 자기주도적 학습을 학습 작업에 대한 분포 유도로 재정의하며, 샘플 가중치를 샘플링 확률로 해석한다.
• 에이전트의 가치 함수 최소화(작업 난이도)와 목표 작업 분포로의 KL 발산 최소화 사이의 트레이드오���을 고려한 공동 목적 함수를 정의한다.
• RL-기반 추론 프레임워크를 활용해 변분 추론 목적 함수를 유도하며, SPL을 잘 알려진 정규화 기법과 연결한다.
• 냉각된 추론(tempered inference)을 사용해 학습을 안정화하고 쉬운 작업에서 어려운 작업으로의 부드러운 커리큘럼 진행을 가능하게 한다.
• 작업의 추정 난이도와 분포 일치 정도에 기반해 동적으로 작업의 재가중치를 설정함으로써 커리큘럼을 구현한다.
• 기본 알고리즘으로 PPO, SAC, TRPO를 사용하여 에피소드 기반 및 스텝 기반 RL 환경 모두에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 자기주도적 학습은 강화학습(RL)의 확률적 프레임워크 내에서 어떻게 공식화될 수 있는가?
• RQ2 분포 기반 커리큘럼 생성 방법은 희소 보상이 있는 RL에서 샘플 효율성과 일반화 능력을 향상시킬 수 있는가?
• RQ3 제안된 방법은 성능과 강건성 측면에서 기존 자동 커리큘럼 학습 접근법과 비교해 어떻게 다른가?
• RQ4 작업 복잡도와 목표 분포 일치를 균형 잡는 것이 RL에서 낮은 국소 최적해를 피하는 데 어떤 영향을 미치는가?
• RQ5 제안된 방법은 아키텍처 수정 없이도 표준 RL 알고리즘에 효과적으로 통합될 수 있는가?

주요 결과

• 제안된 확률적 SPL 프레임워크는 희소 보상 환경에서 PPO, SAC, TRPO 등 여러 RL 알고리즘에서 학습 성능을 크게 향상시켰다.
• Ant-gate 환경에서 SPDL는 SAC를 사용해 0.75의 캐칭 비율을 기록했으며, GoalGAN(0.50)과 ALP-GMM(0.25)를 능가했고, 최신 CL 방법들과 동등하거나 슈퍼리어한 성능을 보였다.
• 볼 캐치링 환경에서 SPDL는 PPO를 사용해 평균 캐칭 비율 0.75를 기록했으며, 기준 방법들에 비해 뛰어난 신뢰성과 목표 향한 행동을 보였다.
• SPDL로 훈련된 정책는 직접 목표 작업에 훈련할 때 관찰된 무작위 정책(무작위 행동 정책)을 피하는 일관되고 목표 중심의 행동을 보였다.
• 더 어려운 작업을 점진적으로 도입함으로써 낮은 국소 최적해를 효과적으로 피했으며, 훈련 런 전반에 걸쳐 안정적이고 높은 보상 누적을 통해 이를 입증했다.
• SPL과 RL-기반 추론의 통합은 커리큘럼 학습을 위한 이론적으로 탄탄한 메커니즘을 제공했으며, 더 나은 일반화 능력과 샘플 효율성을 가능하게 했다.