[논문 리뷰] SAFARI: Safe and Active Robot Imitation Learning with Imagination

Norman Di Palo, Edward Johns|arXiv (Cornell University)|2020. 11. 18.

Robot Manipulation and Learning참고 문헌 42인용 수 4

한 줄 요약

SAFARI는 분포 이탈을 최소화하고 실패를 예측하기 위해 행동 복제와 모델 기반 계획, 불확실성 추정을 결합한 안전하고 능동적인 암시 학습 프레임워크를 제안한다. 분포를 벗어난 상태에서 능동적으로 시범을 요청하고 미래 상태 예측을 통해 이상치를 탐지함으로써 SAFARI는 로봇 조작 작업에서 일반화 능력과 안전성을 향상시킨다.

ABSTRACT

One of the main issues in Imitation Learning is the erroneous behavior of an agent when facing out-of-distribution situations, not covered by the set of demonstrations given by the expert. In this work, we tackle this problem by introducing a novel active learning and control algorithm, SAFARI. During training, it allows an agent to request further human demonstrations when these out-of-distribution situations are met. At deployment, it combines model-free acting using behavioural cloning with model-based planning to reduce state-distribution shift, using future state reconstruction as a test for state familiarity. We empirically demonstrate how this method increases the performance on a set of manipulation tasks with respect to passive Imitation Learning, by gathering more informative demonstrations and by minimizing state-distribution shift at test time. We also show how this method enables the agent to autonomously predict failure rapidly and safely.

연구 동기 및 목표

• 전문가 시범에서 다루지 않은 분포를 벗어난 상태(out-of-distribution, OOD)에 도달했을 때 암시 학습에서 잘못된 행동이 발생하는 문제를 해결하기 위해.
• 모델리스 정책 작동과 실시간 계획을 조합하여 훈련 시점의 상태 분포에서의 분산 이탈을 최소화함으로써 배포 시 상태 분포 이탈을 감소시키기 위해.
• 인간의 감시 없이도 테스트 시점에서 자율적으로 안전한 실패 예측을 가능하게 하여 로봇의 안전성을 향상시키기 위해.
• 전문가 시범을 제공할 가장 불확실하고, 따라서 가장 유용한 상태들에 대해 능동적으로 선택함으로써 훈련 중 데이터 효율성을 향상시키기 위해.

제안 방법

• 전문가 시범 데이터를 기반으로 행동 복제를 통해 정책 네트워크를 훈련시켜 전문가 행동을 모방한다.
• 현재 상태와 행동에서 미래 상태를 예측할 수 있는 동역학 모델(세계 모델)을 학습시켜 실시간 계획 수단을 제공한다.
• 예측의 내재 불확실성(epistemic uncertainty)을 추정하기 위한 네트워크를 도입하여, 미래 상태 재구성 기반으로 OOD 상태를 식별한다.
• 불확실성 추정치를 활용해 훈련 중에 고불확실성 상태에서 전문가의 시범을 요청함으로써 능동 학습을 유도한다.
• 테스트 시점에서는 정책의 행동과 불확실성을 최소화하고 훈련 분포로 상태를 다시 끌고 오는 데 기여하는 계획 행동을 조합한다.
• RGB 관측값을 16차원 잠재 벡터로 압축하기 위해 컨volutional autoencoder를 사용하며, 이를 로봇 상태 특징과 연결하여 입력으로 사용한다.

실험 결과

연구 질문

• RQ1 불확실성 추정 기반의 능동 학습이 정책의 일반화 능력을 향상시키면서도 전문가 시범의 수를 줄일 수 있는가?
• RQ2 모델 기반 계획이 암시 학습에서 배포 시 상태 분포 이탈을 어느 정도 줄일 수 있는가?
• RQ3 학습된 동역학 모델을 통해 미래 상태를 상상함으로써 반응형 방법에 비해 더 빠르고 신뢰할 수 있는 실패 탐지가 가능한가?
• RQ4 모델리스 정책 작동과 불확실성 인식 계획을 조합함으로써 실제 조작 작업에서 성능과 안전성이 어떻게 향상되는가?

주요 결과

• γ = 0.8로 설정된 능동 학습 접근법이 수동 암시 학습보다 뛰어난 성능을 보였으며, 능동적으로 선택된 시범이 더 유용함을 입증하였다.
• 1-큐브 픽 앤 플레이스 작업에서 SAFARI는 50회 테스트 중 평균 8.8 ± 2.35회의 성공을 기록했으며, 행동 복제(7.6 ± 2.35)보다 뚜렷이 뛰어난 성능을 보였다.
• 2-큐브 스택 작업에서는 SAFARI가 5.9 ± 4.0회의 성공을 기록했고, 행동 복제(3.4 ± 2.6)보다 더 높은 내구성을 보였다.
• 모델리스 작동과 실시간 계획을 조합한 하이브리드 정책는 모든 평가된 작업에서 분포 이탈을 감소시키고 테스트 시점 성능을 향상시켰다.
• 미래 상태 상상 기반의 실패 예측은 0에서 10단계까지의 향후 단계에서 안정적인 F1 점수를 기록했으며, 실패 탐지에 소요되는 단계 수를 줄여 안전성을 향상시켰다.
• 이 방법은 테스트 시점에서 위험 상태를 자율적으로 탐지하여 인간 간섭 없이도 안전한 실행을 가능하게 하였다.