[논문 리뷰] Example-Driven Model-Based Reinforcement Learning for Solving Long-Horizon Visuomotor Tasks

Bo-Han Wu, Suraj Nair외 2명|arXiv (Cornell University)|2021. 06. 19.

Reinforcement Learning in Robotics인용 수 1

한 줄 요약

EMBR는 원시 이미지에서 시각운동 기초 기술의 복합체를 학습하는 모델 기반 강화학습 방법으로, 학습된 동역학 모델, 크리틱 네트워크, 성공 분류기로 장기 목표 작업의 강건한 순차적 실행을 가능하게 한다. 이는 최대 12개의 기술과 14개의 고유한 원소를 포함하는 복잡한 책상 정리 작업에서 85%의 성공률을 달성하며, 새로운 물체로의 일반화도 가능하다.

ABSTRACT

In this paper, we study the problem of learning a repertoire of low-level skills from raw images that can be sequenced to complete long-horizon visuomotor tasks. Reinforcement learning (RL) is a promising approach for acquiring short-horizon skills autonomously. However, the focus of RL algorithms has largely been on the success of those individual skills, more so than learning and grounding a large repertoire of skills that can be sequenced to complete extended multi-stage tasks. The latter demands robustness and persistence, as errors in skills can compound over time, and may require the robot to have a number of primitive skills in its repertoire, rather than just one. To this end, we introduce EMBR, a model-based RL method for learning primitive skills that are suitable for completing long-horizon visuomotor tasks. EMBR learns and plans using a learned model, critic, and success classifier, where the success classifier serves both as a reward function for RL and as a grounding mechanism to continuously detect if the robot should retry a skill when unsuccessful or under perturbations. Further, the learned model is task-agnostic and trained using data from all skills, enabling the robot to efficiently learn a number of distinct primitives. These visuomotor primitive skills and their associated pre- and post-conditions can then be directly combined with off-the-shelf symbolic planners to complete long-horizon tasks. On a Franka Emika robot arm, we find that EMBR enables the robot to complete three long-horizon visuomotor tasks at 85% success rate, such as organizing an office desk, a file cabinet, and drawers, which require sequencing up to 12 skills, involve 14 unique learned primitives, and demand generalization to novel objects.

연구 동기 및 목표

• 장기 목표 작업을 위한 강건하고 재사용 가능한 저수준 시각운동 기술 복합체를 학습하는 데 도전한다.
• 지속적인 성공 모니터링을 통해 오류 및 환경적 요동에 강건한 기술 순서를 가능하게 한다.
• 모든 기술에서 수집된 데이터를 사용해 임의의 작업에 관계없이 적용 가능한 동역학 모델을 훈련시켜 샘플 효율성과 일반화 능력을 향상시킨다.
• 학습된 기술을 상징적 계획기와 통합하여 실제 환경에서 고수준 작업 실행을 가능하게 한다.
• 새로운 물체와 동적 조건을 포함하는 복잡한 다단계 시각운동 작업에서 높은 성공률를 달성한다.

제안 방법

• EMBR는 모델 기반 강화학습 프레임워크 내에서 기술 실행의 결과를 계획하고 예측하기 위해 학습된 동역학 모델을 사용한다.
• 크리틱 네트워크는 기술 정책의 품질을 평가하며, 훈련 중 정책 개선 신호를 제공한다.
• 성공 분류기는 조밀한 보상 함수로 기능하며, 기술이 성공했는지 실패했는지 지속적으로 모니터링하여 재시도 메커니즘을 가능하게 한다.
• 성공 분류기는 기술을 실제 환경 조건에 맞추어 정의하여 실패를 감지하고 요동 상황에서 재시도를 유도할 수 있도록 한다.
• 동역학 모델은 모든 기술을 포함하는 다양한 데이터셋에서 훈련되어 임의의 작업에 관계없이 적용 가능한 것으로, 다양한 장기 목표 작업에 재사용 가능하다.
• 학습된 시각운동 원소와 그 전·후 조건은 표준 외부 상징적 계획기와 조합되어 복잡한 다단계 작업을 해결한다.

실험 결과

연구 질문

• RQ1 모델 기반 강화학습 프레임워크는 원시 이미지에서 새로운 물체에 일반화 가능한 다양한 시각운동 기술 복합체를 학습할 수 있는가?
• RQ2 요동이나 실패 상황에서 기술의 성공 여부를 어떻게 지속적으로 모니터링하고 재시도할 수 있는가?
• RQ3 여러 기술의 데이터에서 학습된 단일한 임의의 작업에 관계없는 동역학 모델이 샘플 효율성을 효과적으로 향상시킬 수 있는가?
• RQ4 학습된 기술이 상징적 계획기와 얼마나 잘 조합되어 장기 목표, 다단계 작업을 해결할 수 있는가?
• RQ5 이러한 시스템은 최대 12개의 순차적 기술을 포함하는 복잡한 실제 세계의 시각운동 작업에서 얼마나 높은 성공률를 달성할 수 있는가?

주요 결과

• EMBR는 책상 정리, 파일 캐비닛 관리, 서랍 조작을 포함하는 세 가지 장기 목표 시각운동 작업에서 85%의 성공률를 달성했다.
• 시스템은 작업 간 최대 12개의 고유한 기술을 성공적으로 순서화하여 기술 조합의 확장성과 가능성을 입증했다.
• 이 방법은 14개의 고유한 학습된 시각운동 원소를 필요로 하였으며, 각 원소는 성공 분류기를 통해 강건한 실행을 보장하였다.
• 임의의 작업에 관계없는 동역학 모델은 공유된 데이터를 사용해 다양한 기술에서 효율적인 학습을 가능하게 하였다.
• 프레임워크는 훈련 중에 볼 수 없었던 새로운 물체로의 일반화를 성공적으로 수행하여 강력한 일반화 능력을 보였다.
• 학습된 기술과 상징적 계획기의 통합은 복잡한 다단계 절차의 신뢰성 있는 실행을 가능하게 하였다.