[논문 리뷰] C-Planning: An Automatic Curriculum for Learning Goal-Reaching Tasks

Tianjun Zhang, Benjamin Eysenbach외 3명|arXiv (Cornell University)|2021. 10. 22.

Reinforcement Learning in Robotics참고 문헌 38인용 수 4

한 줄 요약

C-Planning은 학습 중 그래프 탐색을 사용하여 목표 도달 작업을 위한 자동 커리큘럼을 제안함으로써, 테스트 시점 계획이 필요 없이 샘플 효율성을 향상시키고 장수평 탐색 및 조작 작업 학습을 가능하게 한다. 기대 최대화를 통해 탐색을 정책 학습에 통합함으로써 최신 기술 수준의 성능을 달성하며, 테스트 시점 탐색에 의존하거나 수동으로 커리큘럼을 설계하는 기존 방법들을 능가한다.

ABSTRACT

Goal-conditioned reinforcement learning (RL) can solve tasks in a wide range of domains, including navigation and manipulation, but learning to reach distant goals remains a central challenge to the field. Learning to reach such goals is particularly hard without any offline data, expert demonstrations, and reward shaping. In this paper, we propose an algorithm to solve the distant goal-reaching task by using search at training time to automatically generate a curriculum of intermediate states. Our algorithm, Classifier-Planning (C-Planning), frames the learning of the goal-conditioned policies as expectation maximization: the E-step corresponds to planning an optimal sequence of waypoints using graph search, while the M-step aims to learn a goal-conditioned policy to reach those waypoints. Unlike prior methods that combine goal-conditioned RL with graph search, ours performs search only during training and not testing, significantly decreasing the compute costs of deploying the learned policy. Empirically, we demonstrate that our method is more sample efficient than prior methods. Moreover, it is able to solve very long horizons manipulation and navigation tasks, tasks that prior goal-conditioned methods and methods based on graph search fail to solve.

연구 동기 및 목표

• 전문가 지시나 보상 형상화 없이도 장거리 목표에 도달하는 데에 학습하는 데 도전하는 문제를 해결하기 위해.
• 다양한 목표 조작 및 복잡한 탐색과 같은 장수평 제어 작업에서 샘플 효율성을 향상시키기 위해.
• 학습 과정에 탐색을 통합함으로써 테스트 시점 계획이 필요 없도록 하기 위해.
• 정책 데이터 품질을 향상시키는 중간 도착지점을 자동으로 생성하는 커리큘럼을 만들기 위해.
• 온라인 계획을 피함으로써 최소한의 추론 지연으로 학습된 정책의 구현을 가능하게 하기 위해.

제안 방법

• C-Planning은 목표 조건부 강화 학습을 기대 최대화(EM) 과정으로 모델링하며, E단계에서는 그래프 탐색을 사용해 장거리 목표에 도달하기 위한 최적의 중간 도착지점 순서를 계획한다.
• M단계에서는 이러한 도착지점을 향해 목표 조건부 정책을 학습시켜 데이터 품질과 정책 일반화 능력을 향상시킨다.
• 도착지점들은 이론적으로 최적 정책이 방문하는 상태로 수렴하는 분포에서 샘플링된다.
• 변분 추론을 사용하여 목표 도달 확률의 하한을 유도함으로써 자동 커리큘럼 생성을 가능하게 한다.
• 이미 존재하는 목표 조건부 강화 학습 알고리즘과 원활하게 통합되며, 아키텍처 변경이 필요 없다.
• 테스트 시 추론은 중간 도착지점을 거치지 않고 최종 목표를 직접 사용하므로 계획 오버헤드가 제거된다.

실험 결과

연구 질문

• RQ1 학습 시점 탐색을 사용하여 장수평 작업에서 샘플 효율성을 향상시키는 중간 목표의 자동 커리큘럼을 생성할 수 있는가?
• RQ2 학습 과정에 탐색을 통합하면 테스트 시점 계획 방법에 비해 샘플 효율성과 배포 지연 측면에서 우월한가?
• RQ3 사람이 설계한 거리 함수나 전문가 지시 없이도 변분 추론에서 자동으로 커리큘럼이 도출될 수 있는가?
• RQ4 도착지점의 분포는 학습 과정에서 어떻게 변화하며, 최적 정책의 상태 방문과 일치하는가?
• RQ5 C-Planning은 이전 목표 조건부 강화 학습 방법이 학습에 실패하는 고차원적이고 복잡한 조작 작업을 해결할 수 있는가?

주요 결과

• C-Planning은 2D 탐색 및 18차원 로봇 조작 작업에서 최신 기술 수준의 성능를 달성하며, 이전 방법이 학습에 실패한 작업도 해결한다.
• 기본 목표 조건부 강화 학습 알고리즘 대비 샘플 효율성이 향상되었으며, 학습 곡선의 빠른 수렴을 통해 이를 입증한다.
• Push-Wall 환경에서 4개의 도착지점을 사용할 경우 SoRB 대비 1.74배 빠르고, 16개의 도착지점을 사용할 경우 4.71배 빠르며, 이는 낮은 배포 지연을 의미한다.
• 기울기 분석 결과 C-Planning은 크리틱 기울기 노름을 증가시키고 액터 기울기 분산을 감소시켜 더 나은 학습 신호를 제공하는 것으로 나타났다.
• 도착지점 샘플링이 균일 분포에서 최적 정책의 상태 경로와 일치하는 방향으로 진화함으로써 이론적 예측이 검증되었다.
• 초기화 조건에 대해 강건하여, 도착지점 수와 같은 하이퍼파라미터의 변화에 관계없이 높은 성능를 유지한다.