[논문 리뷰] Learning Manipulation States and Actions for Efficient Non-prehensile Rearrangement Planning

Joshua A. Haustein, Isac Arnekvist외 3명|arXiv (Cornell University)|2019. 01. 11.

Robotic Path Planning Algorithms참고 문헌 45인용 수 9

한 줄 요약

이 논문은 물리 기반의 샘플링 효율적인 비抓취적 재배열 계획자인 방법을 제안하며, 강화 학습과 생성 모델링을 융합하여 로봇이 몸체의 어느 부분을 사용하여도 동시에 여러 개의 물체를 밀 수 있도록 한다. GAN 기반 생성기로 타깃 물체를 목표 상태로 밀 수 있는 가능성이 있는 로봇 상태를 샘플링하고, 한 단계 정책을 통해 동작을 결정함으로써, SE(2) 구성을 가진 로봇에서 최신 기술 대비 계획 시간이 2배 이상 빨라지는 결과를 얻었다.

ABSTRACT

This paper addresses non-prehensile rearrangement planning problems where a robot is tasked to rearrange objects among obstacles on a planar surface. We present an efficient planning algorithm that is designed to impose few assumptions on the robot's non-prehensile manipulation abilities and is simple to adapt to different robot embodiments. For this, we combine sampling-based motion planning with reinforcement learning and generative modeling. Our algorithm explores the composite configuration space of objects and robot as a search over robot actions, forward simulated in a physics model. This search is guided by a generative model that provides robot states from which an object can be transported towards a desired state, and a learned policy that provides corresponding robot actions. As an efficient generative model, we apply Generative Adversarial Networks. We implement and evaluate our approach for robots endowed with configuration spaces in SE(2). We demonstrate empirically the efficacy of our algorithm design choices and observe more than 2x speedup in planning time on various test scenarios compared to a state-of-the-art approach.

연구 동기 및 목표

• 손으로 설계된 조작 프리미티브에 의존하지 않고 혼잡한 환경에서 효율적인 비抓취적 재배열 계획을 해결하고자 한다.
• 로봇이 끝단 효과기 외의 몸체의 어느 부분을 사용하여도 동시에 여러 개의 물체를 밀 수 있도록 하며, 이를 통해 유연한 조작을 가능하게 한다.
• 학습된 가이던스를 통해 계획 시간을 단축하고 다양한 로봇 구조와 물체 유형에 대한 적응성을 향상시키고자 한다.
• 물체 배열 슬라이스를 활용해 검색 공간을 구조화하여 로봇 운동과 물체 재배열을 분리하고자 한다.
• 제한적인 로봇 조작 능력에 대한 가정 없이도 확장 가능하고 일반화 가능한 계획 프레임워크를 개발하고자 한다.

제안 방법

• 로봇 동작과 그 결과(의도치 않은 접촉 및 물체-물체 상호작용 포함)를 물리 기반 정방향 시뮬레이션으로 모델링한다.
• 물체 배열 기반으로 구성공간을 슬라이스로 분할하여 트리 확장을 위한 효율적인 탐색과 이웃 선택이 가능하도록 한다.
• 목표 물체를 목표 상태로 성공적으로 밀 수 있는 로봇 상태를 생성하기 위해 GAN(생성적 적대적 네트워크)을 훈련시킨다.
• 생성된 상태에서 밀기 동작을 출력하기 위해 일단계 정책 네트워크를 훈련시켜 조작 중 정밀한 제어를 가능하게 한다.
• 이러한 학습된 구성요소를 샘플링 기반 운동 계획(예: RRT 유사 트리 확장)과 융합하여 복합 구성공간을 탐색한다.
• 이 방법은 SE(2) 구성공간을 가진 로봇에 구현 및 평가되었으며, 데이터 수집을 위해 균일한 랜덤 샘플링을 사용하였다.

실험 결과

연구 질문

• RQ1 수동으로 설계된 조작 프리미티브에 의존하지 않고도 학습 기반 접근이 비抓취적 재배열 작업의 계획 시간을 줄일 수 있는가?
• RQ2 GAN 기반 생성기는 다양한 물체 구성에 대해 실행 가능한 밀기 동작을 가능하게 하는 로봇 상태를 얼마나 효과적으로 생성하는가?
• RQ3 학습된 정책을 통합함으로써 물리 기반 재배열 계획의 효율성과 강건성은 어느 정도 향상되는가?
• RQ4 로봇 운동학에 대한 사전 가정 없이도 이 계획자는 다중 물체 밀기 및 복잡한 물체 배열을 효율적으로 처리할 수 있는가?
• RQ5 균일한 샘플링 대비 슬라이스 기반 검색 구조는 계획 속도와 해의 품질 측면에서 어떤가?

주요 결과

• 제안된 방법은 다양한 시험 환경에서 최신 기술 대비 계획 시간이 2배 이상 단축되는 결과를 도출하였다.
• GAN 기반 생성기는 타깃 물체를 목표 상태로 밀 수 있는 가능성이 있는 로봇 상태를 성공적으로 학습하여 수렴 속도를 높였다.
• 일단계 정책는 신뢰할 수 있는 밀기 동작을 가능하게 하여 목표 상태까지의 거리를 줄였지만, 정확한 방향 제어는 여전히 도전 과제로 남아 있다.
• 슬라이스 기반 검색 구조는 로봇 운동과 물체 재배열을 분리함으로써 계획 효율성을 향상시키고 더 나은 이웃 선택이 가능하도록 하였다.
• 정책과 생성기는 새로운 물리적 파rameter에 대해 재학습할 수 있으므로, 다양한 로봇 구조와 물체 유형에 쉽게 적응할 수 있다.
• 초기 실험 결과, 이행 동작에 국소적 충돌 회피 계획자를 추가하면 성능이 악화됨을 확인하여 복잡성과 효율성 사이의 상충 관계가 있음을 시사한다.