[논문 리뷰] Motion Policy Networks

Adam Fishman, Adithyavairan Murali외 4명|arXiv (Cornell University)|2022. 10. 21.

Human Pose and Action Recognition인용 수 6

한 줄 요약

모션 정책 네트워크(Mπ 네트워크)는 원시 깊이 포인트 클라우드 관측값에서 직접 충돌이 없는 부드러운 로봇 암 운동을 생성하는 엔드 투 엔드 딥 러닝 모델이다. 50만 개의 시뮬레이션 환경에서 300만 개의 운동 계획 문제로 훈련된 Mπ 네트워크는 이전의 신경망 기반 계획자보다 46% 높은 성공률을 기록하며, 글로벌 계획자보다 훨씬 빠르고 실제 센서 노이즈에 강건하다.

ABSTRACT

Collision-free motion generation in unknown environments is a core building block for robot manipulation. Generating such motions is challenging due to multiple objectives; not only should the solutions be optimal, the motion generator itself must be fast enough for real-time performance and reliable enough for practical deployment. A wide variety of methods have been proposed ranging from local controllers to global planners, often being combined to offset their shortcomings. We present an end-to-end neural model called Motion Policy Networks (M$π$Nets) to generate collision-free, smooth motion from just a single depth camera observation. M$π$Nets are trained on over 3 million motion planning problems in over 500,000 environments. Our experiments show that M$π$Nets are significantly faster than global planners while exhibiting the reactivity needed to deal with dynamic scenes. They are 46% better than prior neural planners and more robust than local control policies. Despite being only trained in simulation, M$π$Nets transfer well to the real robot with noisy partial point clouds. Code and data are publicly available at https://mpinets.github.io.

연구 동기 및 목표

• 원시 깊이 센서 입력만을 사용하여 알 수 없는 환경에서 빠르고 부드럽고 충돌이 없는 로봇 운동을 생성하는 데 도전한다.
• 기존 계획자와 국소 제어기의 한계를 극복한다. 이들은 너무 느리거나 반응성이 떨어지거나 복잡한 기하학적 구조에서 실패한다.
• 명시적인 장면 표현이나 사전 학습된 충돌 모델이 필요 없이 원시 관측값에서 엔드 투 엔드 학습을 가능하게 한다.
• 대규모 시뮬레이션 훈련을 통해 동적이고 노이즈가 많은 실제 환경에서의 일반화 능력과 강건성을 향상시킨다.
• 도메인 전이가 최소한이 되도록 시뮬레이션 및 실제 환경에서 모두 높은 성능을 달성한다.

제안 방법

• Mπ 네트워크는 50만 개의 다양한 환경에서 300만 개의 운동 계획 문제로 구성된 대규모 합성 데이터셋에서 엔드 투 엔드로 훈련된다.
• 모델은 단일 깊이 포인트 클라우드를 입력으로 받아 작업 공간에서 부드럽고 충돌이 없는 종단 운동 경로 시퀀스를 출력한다.
• 네트워크 아키텍처는 반응성과 미분 가능성에 최적화되어 있어 실시간 추론과 애벌리션 학습을 가능하게 한다.
• 훈련은 하이브리드 계획자와 글로벌 계획자의 시뮬레이션 결과를 활용하여 운동 정책 학습을 감독하며, 테스트 시에 전체 장면 기하구조에 접근할 수 없더라도 가능하다.
• 안전하고 자연스러운 운동을 확보하기 위해 궤적 손실, 충돌 페널티, 부드러움 정규화를 조합하여 최적화한다.
• 도메인 랜덤라이제이션과 부분적, 노이즈가 있는 포인트 클라우드로 훈련하여 실제 센서 조건을 시뮬레이션함으로써 시뮬레이션에서 실제 환경으로의 전이를 가능하게 한다.

실험 결과

연구 질문

• RQ1 명시적인 장면 재구성 없이 원시 깊이 포인트 클라우드에서 직접 충돌이 없는 부드러운 운동을 생성할 수 있는 엔드 투 엔드 신경 정책이 학습될 수 있는가?
• RQ2 Mπ 네트워크의 성능은 전통적인 글로벌 계획자와 국소 제어 정책에 비해 성공률, 속도, 강건성 측면에서 어떻게 비교되는가?
• RQ3 오직 시뮬레이션에서만 훈련된 모델이 노이즈가 많고 부분적인 관측값을 갖는 실제 로봇 조작 환경으로 얼마나 잘 일반화되는가?
• RQ4 다양한 시뮬레이션 환경에서의 대규모 애벌리션 학습이 복잡한 미리 보지 못한 환경에서의 일반화 능력과 성공률을 향상시키는가?
• RQ5 추론 시 외부 계획자나 충돌 체크 기반 모델에 의존하는 이전의 신경 계획자보다 성능을 뛰어넘을 수 있는가?

주요 결과

• Mπ 네트워크는 테스트 시에 전체 장면 기하구조가 필요 없이도 이전의 신경망 기반 계획자(MPNets 등)보다 46% 높은 성공률을 기록한다.
• RRT*와 같은 글로벌 계획자보다 100배 이상 빠르며, 실시간 추론 속도를 확보해 배포에 적합하다.
• 탁상 문제에서 Mπ 네트워크는 목표 지점 1cm 이내에서 95.67%의 성공률을 기록하며, 동일한 설정에서 STORM(88.67%)와 G. Fabrics(85.83%)를 모두 능가한다.
• 실패 모드 분석에서 Mπ 네트워크는 가장 도전적인 문제에서 자가 충돌 비율 0.5%와 관절 위반 비율 0.0%를 기록하여 높은 안전성과 신뢰성을 보였다.
• 모델은 실제 환경으로의 일반화 능력이 뛰어나, 깊이 센서에서 얻은 부분적이고 노이즈가 있는 포인트 클라우드만으로도 시뮬레이션에서 실제 로봇으로 성공적으로 전이되었다.
• 글로벌 계획자가 해결할 수 있는 옷장 문제에서 Mπ 네트워크는 96.83%의 성공률을 기록하며, 동일 벤치마크에서 STORM(53.83%)와 G. Fabrics(62.33%)를 모두 능가했다.