[논문 리뷰] Multi-objective Model-based Policy Search for Data-efficient Learning with Sparse Rewards

Rituraj Kaushik, Konstantinos Chatzilygeroudis외 1명|arXiv (Cornell University)|2018. 06. 25.

Reinforcement Learning in Robotics참고 문헌 14인용 수 8

한 줄 요약

이 논문은 희소 보상 강화학습 작업을 효율적으로 해결하기 위해 새로운 탐색 기반 탐색과 모델 기반 최적화를 결합한 다목적 모델 기반 정책 탐색 알고리즘인 Multi-DEX를 제안한다. 파레토 기반 유전적 알고리즘을 사용해 궤적의 신선도, 누적 보상, 모델 정확도를 동시에 최적화함으로써, Multi-DEX는 펜듈럼 스윙업 작업에서 100회 이내, 4-DOF 서랍 열기 작업에서 1,000회 이내로 높은 성능을 달성하였으며, VIME, TRPO, GEP-PG, CMA-ES, Black-DROPS보다 뛰어난 성능을 보였다.

ABSTRACT

The most data-efficient algorithms for reinforcement learning in robotics are model-based policy search algorithms, which alternate between learning a dynamical model of the robot and optimizing a policy to maximize the expected return given the model and its uncertainties. However, the current algorithms lack an effective exploration strategy to deal with sparse or misleading reward scenarios: if they do not experience any state with a positive reward during the initial random exploration, it is very unlikely to solve the problem. Here, we propose a novel model-based policy search algorithm, Multi-DEX, that leverages a learned dynamical model to efficiently explore the task space and solve tasks with sparse rewards in a few episodes. To achieve this, we frame the policy search problem as a multi-objective, model-based policy optimization problem with three objectives: (1) generate maximally novel state trajectories, (2) maximize the expected return and (3) keep the system in state-space regions for which the model is as accurate as possible. We then optimize these objectives using a Pareto-based multi-objective optimization algorithm. The experiments show that Multi-DEX is able to solve sparse reward scenarios (with a simulated robotic arm) in much lower interaction time than VIME, TRPO, GEP-PG, CMA-ES and Black-DROPS.

연구 동기 및 목표

• 희소 또는 속임수적 보상이 존재하는 강화학습에서 데이터 효율성 문제를 해결하기 위해, 초기 양의 보상 없이도 표준 모델 기반 알고리즘이 실패하는 상황을 다루는 것.
• 내재적 호기심과 새로운 행동 기반 탐색을 모델 기반 정책 탐색에 통합하여 희소 보상 환경에서의 탐색을 향상시키는 것.
• 학습된 동역학 모델을 활용해 실제 시스템과의 상호작용 시간을 줄이고, 높은 수익과 높은 탐색 잠재력을 동시에 향한 정책 최적화를 이끄는 것.
• 탐색되지 않은 영역에서도 높은 모델 정확도를 유지하기 위해 최적화 목표에 모델의 불확실성을 통합하는 것.
• 다목적 최적화를 통해 신선도, 보상, 모델 신뢰도를 동시에 고려할 경우, 단일 목표 최적화나 순수 탐색적 방법보다 빠른 수렴을 이룰 수 있음을 입증하는 것.

제안 방법

• 궤적의 신선도, 누적 보상, 모델 정확도(불확실성 최소화)를 최대화하는 세 가지 목표를 가진 다목적 최적화 문제로 정책 탐색을 공식화한다.
• 상호작용 데이터로부터 시스템의 확률적 동역학 모델을 학습하기 위해 가우시안 프로세스(GP)를 사용한다.
• 세 목표를 균형 잡는 비지배 정책 집합을 생성하기 위해 파레토 기반 다목적 유전 알고리즘(MOEA)을 적용한다.
• 탐색과 이용 간의 균형을 제어하는 스칼라화 파라미터 ε를 사용해 파레토 집합에서 최종 정책을 선택한다.
• 에피소드 기반 상호작용 루프를 구현한다: 롤아웃 수집 → GP 모델 학습 → 다목적 정책 최적화 → 최종 정책 선택 및 실행.
• 잠재 공간 또는 관측 공간에서 이전에 방문한 상태와의 거리로 정의된 상태공간의 신선도를 통해 내재적 호기심을 통합한다.

실험 결과

연구 질문

• RQ1 초기 양의 보상이 없는 상황에서, 모델 기반 정책 탐색 알고리즘이 희소 보상 환경에서 효과적으로 탐색할 수 있는가?
• RQ2 신선도, 보상, 모델 불확실성에 대한 다목적 최적화가 강화학습에서 데이터 효율성을 어떻게 향상시키는가?
• RQ3 파레토 기반 접근 방식이 단일 목표 최적화나 탐욕적 최적화보다 샘플 효율성 측면에서 더 뛰어난 성능을 보일 수 있는가?
• RQ4 모델 기반 학습에 내재적 호기심을 통합할 경우 수렴 속도와 최종 성능에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 희소 보상 작업에서 뛰어난 성능을 발휘하면서도, 비희소 보상 작업에서도 뛰어난 성능 유지를 할 수 있는가?

주요 결과

• Multi-DEX는 100회의 시도(약 6.6분의 상호작용 시간)로 위험한 보상 구조를 가진 펜듈럼 스윙업 작업을 해결하였으며, 높고 안정적인 양의 보상을 달성하였다.
• 반면, GEP-PG와 TRPO-VIME는 2,500회의 시도가 넘도록 비교 가능한 성능에 도달하지 못했고, TRPO, Black-DROPS, CMA-ES는 방향성 있는 탐색 부족으로 인해 보상이 거의 0에 머물렀다.
• 4-DOF 서랍 열기 작업에서는 Multi-DEX가 중앙값으로 1,000회의 시도 내에 작업 완수를 달성하였고, CMA-ES는 동일한 예산 내에서 최종 보상의 절반 수준에 머물렀다.
• 5-DOF 암을 사용한 비희소 목표 도달 작업에서는 Multi-DEX의 두 변형(ε=0 및 ε=0.4)이 표준 Black-DROPS와 경쟁 가능한 성능을 보였으며, 이는 보상 희소성 수준에 관계없이 강건함을 입증하였다.
• Multi-DEX가 제공하는 파레토 최적 정책 집합은 다양한 행동 양식을 제공하였고, ε를 통한 최종 정책 선택은 탐색과 이용 간의 동적 조정을 가능하게 하였다.
• 목표 함수에 모델의 불확실성을 통합함으로써 일반화 능력이 향상되고 랜덤 탐색에 대한 의존도가 크게 감소하여 샘플 복잡도가 크게 감소하였다.