[논문 리뷰] Multi-Object Rearrangement with Monte Carlo Tree Search:A Case Study on Planar Nonprehensile Sorting

Haoran Song, Joshua A. Haustein외 5명|arXiv (Cornell University)|2019. 12. 15.

Robotic Path Planning Algorithms참고 문헌 34인용 수 11

한 줄 요약

이 논문은 평면적 비포획 다중 물체 정렬을 위한 몬테카를로 트리 탐색(MCTS) 방법을 제안하며, 작업에 특화된 히ュ리스틱과 학습된 롤아웃 정책을 통합한다. 로봇은 여러 물체를 클래스별로 분리된 군집으로 밀어내어 정렬한다. 이 방법은 모델링 불확실성과 경계 제약 조건 하에서도 시뮬레이션과 실제 로봇에서 높은 성공률를 달성하여 강건성과 확장성을 입증한다. 볼록, 비볼록, 장애물 포함 구조에 모두 적용 가능하다.

ABSTRACT

In this work, we address a planar non-prehensile sorting task. Here, a robot needs to push many densely packed objects belonging to different classes into a configuration where these classes are clearly separated from each other. To achieve this, we propose to employ Monte Carlo tree search equipped with a task-specific heuristic function. We evaluate the algorithm on various simulated and real-world sorting tasks. We observe that the algorithm is capable to reliably sort large numbers of convex and non-convex objects, as well as convex objects in the presence of immovable obstacles.

연구 동기 및 목표

• 객체가 클래스별로 분리된 군집으로 정렬되어야 하는 대규모, 비단조화적, 다중 물체 평면 비포획 재배치 문제를 해결하기 위해.
• 명시적인 목표 상태가 필요 없이 복잡한 다중 접촉 역학과 고차원 상태 공간을 다룰 수 있는 계획 프레임워크를 개발하기 위해.
• 히ュ리스틱 보상 함수와 학습된 롤아웃 정책를 MCTS에 통합하여 샘플 효율성과 정렬 작업의 성공률을 향상시키기 위해.
• 모델링 정확도 부족과 실제 하드웨어 제약 조건, 특히 작업공간 경계 근처에서의 성능을 평가하기 위해.
• 물체 수, 클래스 수, 형태, 장애물 구성 등 다양한 조건에 대해 확장성을 입증하기 위해.

제안 방법

• 해당 방법은 고차원 상태 공간 탐색을 위해 몬테카를로 트리 탐색(MCTS)을 활용하며, 정책 기반 시뮬레이션을 수행함으로써 명시적인 가치 함수나 목표 상태가 필요 없도록 한다.
• 정렬된 구성으로 향하는 방향을 이끄는 작업에 특화된 히ュ리스틱 보상 함수를 도입하여 물체 군집의 조밀성과 분리도를 평가한다.
• 계획 경험을 기반으로 학습된 롤아웃 정책를 도입하여 샘플 효율성을 향상시키고 필요한 롤아웃 수를 감소시킨다.
• 물리 기반 시뮬레이션을 사용하여 다중 물체 밀기 동역학, 복잡한 접촉 상호작용 및 물체 충돌을 모델링한다.
• 알고리즘은 적응형 반복 스케줄링을 사용하여 작업의 복잡성에 따라 MCTS 반복 횟수를 동적으로 조정한다.
• 계획기는 병렬화되어 실제 ABB Yumi 로봇에 구현되었으며, 실세계의 불확실성을 보완하기 위해 피드백 루프 실행 방식을 적용한다.

실험 결과

연구 질문

• RQ1 히ュ리스틱 보상 함수를 통합한 MCTS는 고밀도 물체 포장과 다중 접촉 역학이 존재하는 대규모 평면 비포획 정렬 작업을 효과적으로 해결할 수 있는가?
• RQ2 학습된 롤아웃 정책의 통합은 이 정렬 환경에서 MCTS의 성능과 샘플 효율성을 어떻게 향상시키는가?
• RQ3 모델링 오차(마찰 계수 등 물리적 파rameter 오차)에 대해 MCTS 기반 계획기는 시뮬레이션과 실제 환경에서 얼마나 강건한가?
• RQ4 작업공간 경계와 물체가 가장자리 근처에 있을 경우 실세계 실행에서 계획기의 성공률에 어떤 영향을 미치는가?
• RQ5 장애물 없음 및 장애물 포함 환경에서 물체 수, 클래스 수, 복잡한 형태(볼록 및 비볼록)의 변화에 대해 이 방법은 어떻게 확장 가능한가?

주요 결과

• 모델링 노이즈가 심한 조건(마찰 계수 분산 75%)에서도, 20~30개의 물체와 2~4개의 클래스를 대상으로 한 시뮬레이션에서 MCTS 기반 계획기는 평균 95.2%의 성공률를 기록했다.
• 학습된 롤아웃 정책를 통합함으로써, 복잡한 구성에서 랜덤 정책 대비 평균 행동 수를 15~20% 감소시켰다.
• ABB Yumi 로봇에서의 실세계 실험에서는 시뮬레이션에서 96%의 성공률, 3×5 큐브 정렬 작업에서 80% 성공률(20회의 시험 중 15회 성공)을 기록했으며, 실세계의 불확실성으로 인해 행동 수가 약간 증가했다.
• 비볼록 물체 30개를 100%의 시험에서 정렬했고, 정지된 장애물이 존재하는 조건에서 볼록 물체 30개를 97%의 성공률로 정렬하여 형태와 환경 복잡성에 대한 강건성을 입증했다.
• 동적 반복 스케줄링을 통해 고복잡도 시나리오에서 고정 반복 수 대비 최대 10% 향상된 성공률를 달성했으며, 특히 복잡도가 높은 상황에서 유의미한 개선을 보였다.
• 실세계 실행에서의 실패 사례는 주로 물체가 경계를 벗어나 밀려나는 데 기인했으며, 이는 경계 취약성을 시사하지만, 피드백 루프 실행 방식이 내부 모델링 오차에 잘 대응했다.