[논문 리뷰] Fleet-DAgger: Interactive Robot Fleet Learning with Scalable Human Supervision

Ryan Hoque, Lawrence Yunliang Chen외 5명|arXiv (Cornell University)|2022. 06. 29.

Domain Adaptation and Few-Shot Learning인용 수 8

한 줄 요약

이 논문은 다수의 로봇에서 인간 감독자의 할당을 최적화하여 인간 노력 대비 수익(ROHE)을 극대화하는 새로운 알고리즘인 Fleet-DAgger를 소개한다. GPU 가속화된 Isaac Gym 환경과 4대의 ABB YuMi 로봇에서 수행한 실제 실험을 통해, 불확실성과 위험을 기반으로 로봇 요청을 지능적으로 우선순위화함으로써 기존 기준 대비 최대 8.8배 높은 ROHE를 달성하여, 다중 로봇, 다중 인간 환경에서 학습 효율성을 크게 향상시켰다.

ABSTRACT

Commercial and industrial deployments of robot fleets at Amazon, Nimble, Plus One, Waymo, and Zoox query remote human teleoperators when robots are at risk or unable to make task progress. With continual learning, interventions from the remote pool of humans can also be used to improve the robot fleet control policy over time. A central question is how to effectively allocate limited human attention. Prior work addresses this in the single-robot, single-human setting; we formalize the Interactive Fleet Learning (IFL) setting, in which multiple robots interactively query and learn from multiple human supervisors. We propose Return on Human Effort (ROHE) as a new metric and Fleet-DAgger, a family of IFL algorithms. We present an open-source IFL benchmark suite of GPU-accelerated Isaac Gym environments for standardized evaluation and development of IFL algorithms. We compare a novel Fleet-DAgger algorithm to 4 baselines with 100 robots in simulation. We also perform a physical block-pushing experiment with 4 ABB YuMi robot arms and 2 remote humans. Experiments suggest that the allocation of humans to robots significantly affects the performance of the fleet, and that the novel Fleet-DAgger algorithm can achieve up to 8.8x higher ROHE than baselines. See https://tinyurl.com/fleet-dagger for supplemental material.

연구 동기 및 목표

• 지속적인 정책 학습 도중 다수의 로봇이 다수의 인간 감독자와 상호작용하는 상호작용적 페어 학습(IFL) 설정을 체계화한다.
• 학습 효율성과 시스템 처리량을 극대화하기 위해 제한된 인간의 주의를 대규모 로봇 페어에 할당하는 데 있어 핵심 과제를 해결한다.
• 페어 학습에서 학습 진전과 인간의 노동량 간의 상호 균형을 반영하는 새로운 평가 지표인 인간 노력 대비 수익(ROHE)을 개발한다.
• 표준화된 IFL 알고리즘 평가를 위한 GPU 가속화된 Isaac Gym 환경을 포함한 새로운 IFLB 벤치마크 세트를 제안한다.
• 대규모 시뮬레이션(100대의 로봇)과 실제 물리적 실험(4대의 로봇, 2명의 인간)을 통해 제안된 Fleet-DAgger 알고리즘을 검증하여 기준 대비 뛰어난 성능을 입증한다.

제안 방법

• M명의 원격 감독자로부터의 상호작용적 인간 간섭을 통해 N대의 로봇로 구성된 페어가 학습하는 공식적인 IFL 프레임워크를 제안하며, 로봇 게이트된 할당 정책 ω를 통해 인간을 동적으로 할당한다.
• 학습 진전을 인간 노력 단위로 측정할 수 있도록 해주는 새로운 지표인 인간 노력 대비 수익(ROHE)을 도입하여 할당 전략 간 공정한 비교를 가능하게 한다.
• 불확실성, 위험성, 예측된 동작 불일치를 기반으로 인간 감독을 위한 로봇 요청을 우선순위화하는 Fleet-DAgger 알고리즘 가족을 설계한다.
• Isaac Gym을 활용한 다중 에이전트 시뮬레이션 환경을 구현하여 100대의 로봇에서 병렬 학습과 실시간 인간-중개 상호작용을 가능하게 한다.
• 4대의 ABB YuMi 로봇 팔과 2명의 원격 인간 감독자를 사용하여 물리적 실험을 수행하며, 원격 조작과 물리적 하드 리셋을 통해 실제 페어 동역학을 시뮬레이션한다.
• 오프라인 일관성 학습과 온라인 상호작용 학습을 조합한 하이브리드 접근 방식을 사용하여, 인간 간섭을 통해 시간이 지남에 따라 공유 로봇 정책 πθt를 개선한다.

실험 결과

연구 질문

• RQ1 대규모 로봇 페어에서 상호작용적 페어 학습 환경에서 인간 감독을 효과적으로 할당하여 학습 효율성을 극대화하고 인간의 부담을 최소화할 수 있는 방법은 무엇인가?
• RQ2 다양한 감독자 할당 전략이 로봇 페어 학습의 성능과 확장성에 미치는 영향은 어떠한가?
• RQ3 제안된 인간 노력 대비 수익(ROHE) 지표는 다중 로봇 환경에서 상호작용 학습 알고리즘의 효과성을 평가하는 데 있어 전통적 지표와 비교하여 어떠한가?
• RQ4 확장 가능한 오픈소스 벤치마크(IFLB)는 표준화된 IFL 알고리즘 평가 및 개발을 얼마나 잘 지원할 수 있는가?
• RQ5 알고리즘 감독자 할당 정책이 인간 감독자의 다양한 반응 행동을 보이는 실제의 다중 모odal 인간 감독자에게 어떻게 일반화되는가?

주요 결과

• 100대의 로봇에서 대규모 시뮬레이션을 통해 Fleet-DAgger는 네 가지 기준 알고리즘보다 최대 8.8배 높은 인간 노력 대비 수익(ROHE)을 달성하여 학습 효율성 향상이著명하게 나타났다.
• 4대의 ABB YuMi 로봇과 2명의 인간 감독자를 사용한 물리적 실험에서, Fleet-DAgger의 C.U.R. 버전은 기준 대비 더 높은 ROHE, 더 많은 누적 성공 수, 더 적은 하드 리셋 횟수, 더 적은 정지 시간을 기록했다.
• 실제 실험에서 C.U.R.과 U.C. (Fleet-EnsembleDAgger) 간 성능 격차는 시뮬레이션보다 작았는데, 이는 고차원 이미지 관측치가 안전성 비평가 학습을 더 어렵게 만들기 때문으로 분석된다.
• 인간 감독자가 동등한 유효한 행동을 임의로 선택함에 따라 불확실성 기반 우선순위 할당의 효과가 떨어졌으며, 이는 인간 감독자에게서 U-우선순위 할당 전략이 결정론적 알고리즘 감독자에게서보다 효과가 떨어짐을 시사한다.
• IFLB 벤치마크 세트는 GPU 가속화된 Isaac Gym 환경을 활용하여 IFL 알고리즘의 확장 가능하고 표준화된 평가를 성공적으로 지원하였으며, 향후 페어 학습 분야의 연구를 위한 기반을 마련했다.