[논문 리뷰] Safety Augmented Value Estimation from Demonstrations (SAVED): Safe Deep Model-Based RL for Sparse Cost Robotic Tasks

Brijen Thananjeyan, Ashwin Balakrishna외 7명|arXiv (Cornell University)|2019. 05. 31.

Reinforcement Learning in Robotics참고 문헌 52인용 수 8

한 줄 요약

SAVED는 하위 최적의 시연와 확률적 제약 강제를 활용하여 희박한 보상과 복잡한 제약 조건을 가진 로봇 작업에서 안전하고 샘플 효율적인 학습을 가능하게 하는 딥 모델 기반 강화학습 알고리즘입니다. 실세계의 외과 수술용 매듭 묶기 작업에서 한 시간 이내에 75% 이상의 성공률을 달성하며, 성공률, 제약 조건 이행, 샘플 효율성 측면에서 최신 기준보다 뛰어납니다.

ABSTRACT

Reinforcement learning (RL) for robotics is challenging due to the difficulty in hand-engineering a dense cost function, which can lead to unintended behavior, and dynamical uncertainty, which makes exploration and constraint satisfaction challenging. We address these issues with a new model-based reinforcement learning algorithm, Safety Augmented Value Estimation from Demonstrations (SAVED), which uses supervision that only identifies task completion and a modest set of suboptimal demonstrations to constrain exploration and learn efficiently while handling complex constraints. We then compare SAVED with 3 state-of-the-art model-based and model-free RL algorithms on 6 standard simulation benchmarks involving navigation and manipulation and a physical knot-tying task on the da Vinci surgical robot. Results suggest that SAVED outperforms prior methods in terms of success rate, constraint satisfaction, and sample efficiency, making it feasible to safely learn a control policy directly on a real robot in less than an hour. For tasks on the robot, baselines succeed less than 5% of the time while SAVED has a success rate of over 75% in the first 50 training iterations. Code and supplementary material is available at https://tinyurl.com/saved-rl.

연구 동기 및 목표

• 희박한 보상 신호와 복잡한 제약 조건을 가진 로봇 제어 환경에서 안전하고 샘플 효율적인 정책 학습에 도전하는 것.
• 설계가 어려우며 의도하지 않은 행동을 유도할 수 있는 수동으로 설계된 밀도 높은 비용 함수에 대한 의존도를 줄이는 것.
• 데이터 수집 시간이 제한되고 안전 기준이 높은 고위험 분야(예: 수술)에서 실로봇에서 직접 효율적이고 안전한 정책 학습을 가능하게 하는 것.
• 시연를 신호로 사용하여 에이전트가 작업 완료에 자신감을 가진 영역로 탐색을 제약하여 탐색을 향상시키는 것.
• 학습된 동역학 모델의 불확실성 추정치를 사용하여 역동적 불확실성 하에서 비볼록 상태공간 제약 조건을 견고하게 강제하는 것.

제안 방법

• SAVED는 희박한 비용 환경에서 밀도 높은 수동 비용 함수를 대체하기 위해 소량의 하위 최적의 시연를 사용하여 지연된 보상 신호를 제공합니다.
• 에이전트가 작업 완료에 자신감을 가진 영역으로 탐색을 제약하는 안전성 강화 가치 추정 메커니즘을 도입하며, 이는 시연 품질에 기반합니다.
• 학습된 동역학 모델의 불확실성 추정치를 사용하여 확률적 확률 제약 조건을 강제함으로써 모델 불확실성 하에서도 견고한 제약 조건 이행을 가능하게 합니다.
• 각 단계에서 제약 조건이 있는 계획 문제를 해결하기 위해 교차 엔트로피 방법(Cross-Entropy Method, CEM) 최적화를 적용한 모델 예측 제어(MPC) 프레임워크를 사용합니다.
• 경험에서 동역학 모델을 학습하고, 시연 기반 감독과 제약 조건 인식 계획을 조합하여 정책을 개선함으로써 정책을 반복적으로 향상시킵니다.
• 비볼록이고 복잡한 상태공간 제약 조건을 다룰 수 있는 확률적 제약 조건 공식화를 사용하여 탐색 중 안전성을 유지합니다.

실험 결과

연구 질문

• RQ1 밀도 높은 수동 비용 함수에 의존하지 않고, 희박한 보상과 복잡한 제약 조건을 가진 환경에서 깊이 있는 모델 기반 강화학습 알고리즘이 효율적이고 안전하게 학습할 수 있는가?
• RQ2 하위 최적의 시연는 어떻게 효과적으로 탐색을 안내하고 희박한 보상 로봇 작업의 샘플 효율성을 향상시킬 수 있는가?
• RQ3 모델 불확실성 추정치를 사용한 확률적 제약 조건 강제는 고차원적이고 역동적으로 불확실한 로봇 시스템에서 제약 조건 이행을 향상시킬 수 있는가?
• RQ4 이러한 방법은 데이터 수집 시간이 제한되고 안전 기준이 높은 실로봇에 얼마나 효과적으로 적용될 수 있는가?
• RQ5 표준 모델리스 또는 모델 기반 기준 대비, 작업 완료에 대한 시연 기반 신뢰도 통합은 정책 학습에 어떻게 기여하는가?

주요 결과

• SAVED는 50개의 학습 반복 이내에 실제 da Vinci 외과 수술용 로봇에서 매듭 묶기 작업에서 75% 이상의 성공률를 달성했으며, 기준 모델들은 5% 미만의 시도에서 성공에 실패했습니다.
• 매듭 묶기 작업을 위한 학습된 정책은 평균 반복 비용을 시연에서의 34.4에서 21.9로 감소시켰고, 최대 비용은 25로 유지되어 성능 향상이 뚜렷했습니다.
• 6개의 시뮬레이션 벤치마크에서 SAVED는 세 가지 최신 기준 모델리스 및 모델 기반 강화학습 기준보다 성공률과 제약 조건 이행 측면에서 뛰어난 성능을 보였습니다.
• 실로봇에서 SAVED를 직접 학습하는 데 약 1시간이 소요되었으며, 이는 실세계 적용 가능성의 실현 가능성을 보여줍니다.
• PETSfD는 높은 제약 조건 이행을 유지했지만 작업 성공에 실패했고, SACfD는 빈번히 제약 조건을 위반했으며 성공한 적이 없어 SAVED의 안전성과 성능의 뛰어난 균형을 입증했습니다.
• 이 방법은 일관된 실행을 가능하게 하였으며, 학습 후 20회의 시도 전부에서 매듭을 성공적으로 묶었고, 이는 높은 신뢰성과 강건성을 보여줍니다.