[논문 리뷰] Monte-Carlo Tree Search for Efficient Visually Guided Rearrangement Planning

Yann Labbé, Sergey Zagoruyko외 5명|arXiv (Cornell University)|2019. 04. 23.

Robot Manipulation and Learning참고 문헌 42인용 수 73

한 줄 요약

본 논문은 초기 배열에서 목표 배열로 다수의 물체를 이동시키기 위한 시각 가이드 재배치 계획을 위한 완전한 파이프라인을 제시하며, Monte-Carlo Tree Search (MCTS)를 사용해 행동을 계획하고, 합성 데이터로 학습된 보정이 필요 없는 깊은 시각 상태 추정기를 포함합니다. 또한 빠른 계획(25개 물체에 대해 60 ms)과 UR-5 설정에서의 강건한 실제 로봇 성능을 달성합니다.

ABSTRACT

We address the problem of visually guided rearrangement planning with many movable objects, i.e., finding a sequence of actions to move a set of objects from an initial arrangement to a desired one, while relying on visual inputs coming from an RGB camera. To do so, we introduce a complete pipeline relying on two key contributions. First, we introduce an efficient and scalable rearrangement planning method, based on a Monte-Carlo Tree Search exploration strategy. We demonstrate that because of its good trade-off between exploration and exploitation our method (i) scales well with the number of objects while (ii) finding solutions which require a smaller number of moves compared to the other state-of-the-art approaches. Note that on the contrary to many approaches, we do not require any buffer space to be available. Second, to precisely localize movable objects in the scene, we develop an integrated approach for robust multi-object workspace state estimation from a single uncalibrated RGB camera using a deep neural network trained only with synthetic data. We validate our multi-object visually guided manipulation pipeline with several experiments on a real UR-5 robotic arm by solving various rearrangement planning instances, requiring only 60 ms to compute the plan to rearrange 25 objects. In addition, we show that our system is insensitive to camera movements and can successfully recover from external perturbations. Supplementary video, source code and pre-trained models are available at https://ylabbe.github.io/rearrangement-planning.

연구 동기 및 목표

• 보정이 필요 없는 설정에서 다수의 이동 가능한 물체를 자율적으로 시각 가이드로 재배치하도록 동기를 부여한다.
• 버퍼 공간 없이 비단조적 다물체 재배치를 다룰 수 있는 확장 가능한 계획 방법을 개발한다.
• 도메인 무작위화(domain randomization)를 통해 합성 데이터만으로 학습된 강건한 시각 상태 예측 시스템을 만든다.
• 빠른 계획과 카메라 움직임 및 외부 교란에 대한 강건성으로 실제 로봇 가능성을 시연한다.

제안 방법

• MCTS를 가능하게 하기 위한 재배치를 위한 이산 액션 매개변수화를 도입한다.
• 대상 위치에 도달한 물체의 수에 기반한 보상을 사용해 MCTS를 통해 계획을 안내한다.
• 실행을 위해 일반적인 RRT 기반 로컬 모션 플래너와 MCTS를 결합한다.
• 단일 보정되지 않은 RGB 이미지로 다수 물체의 2D 로봇 좌표 위치를 예측하는 보정-필요 없는 시각 상태 추정기를 개발한다.
• 객체 CAD 모델이나 마커가 필요 없이 도메인 무작위화를 포함한 합성 데이터로 다중 물체 검출기를 학습시키고, 객체 마스크와 조밀한 2D 위치 필드를 포함한다.

실험 결과

연구 질문

• RQ1 명시적 버퍼 공간 없이 시각적으로 가이드된 다물체 재배치를 효율적으로 해결할 수 있는 MCTS 기반 플래너가 있는가?
• RQ2 단일 RGB 이미지에서 다수의 알려지지 않은 물체를 위치 및 식별하고 이를 로봇 좌표로 매핑하는 보정-없는 시각 상태 추정기는 얼마나 잘 작동하는가?
• RQ3 통합 파이프라인이 물체 수가 많아도 확장되며 실제 로봇에서 실시간으로 동작하는가?
• RQ4 실행 중 카메라 움직임 및 외부 교란에 시스템이 강건한가?

주요 결과

• MCTS는 100000-iteration 한도에서 37개 물체로 80% 성공하는 반면, 기준선은 대략 33개 물체를 넘어갈 때 어려움을 겪는다.
• 플래너는 기준선보다 훨씬 적은 물체를 이동시킨다(예: 30개 물체의 경우 MCTS가 40회 이동, 기준선은 60회).
• 싱글 CPU 코어가 장착된 랩탑에서 MCTS는 25개 물체에 대해 60 ms 내에 계획을 찾아 각 이동 후 온라인 재계획을 가능하게 한다.
• 시각 상태 추정기는 단일 물체에 대해 1.1 cm 위치 추정 정확도를 달성하고 최대 10개 물체까지 비슷한 정확도를 유지하여 10개 물체까지의 테스트에서 거의 100% 그립 성공을 가능하게 한다.
• 전체 파이프라인은 UR-5 플랫폼에서 실제 로봇 재배치를 성공적으로 시연하며 다양한 사례를 해결하고 교란으로부터 회복한다.