[논문 리뷰] Hierarchical Policy for Non-prehensile Multi-object Rearrangement with Deep Reinforcement Learning and Monte Carlo Tree Search

Fan Bai, Fei Meng외 3명|arXiv (Cornell University)|2021. 09. 18.

Robot Manipulation and Learning참고 문헌 25인용 수 6

한 줄 요약

이 논문은 몬테카를로 트리 서치(MCTS)와 경로 프리미티브를 조합한 계층적 딥 강화학습 프레임워크를 제안한다. 비抓취(non-prehensile) 다강인 오브제트 재배열 문제에 적용된다. 고수준 정책은 애널로이드 및 강화학습으로 훈련된 정책 네트워크에 의해 유도되는 MCTS를 사용하여 최적의 물체 이동 순서를 결정하고, 저수준 정책은 경로 프리미티브를 실행하여 물체를 효율적으로 이동시킨다. 이 방법은 80.0%의 성공률, 평균 31.90단계, 평균 수익 54.50을 달성하여 성공률, 단계 수, 경로 효율성 측면에서 최신 기준(SOTA)을 초월한다.

ABSTRACT

Non-prehensile multi-object rearrangement is a robotic task of planning feasible paths and transferring multiple objects to their predefined target poses without grasping. It needs to consider how each object reaches the target and the order of object movement, which significantly deepens the complexity of the problem. To address these challenges, we propose a hierarchical policy to divide and conquer for non-prehensile multi-object rearrangement. In the high-level policy, guided by a designed policy network, the Monte Carlo Tree Search efficiently searches for the optimal rearrangement sequence among multiple objects, which benefits from imitation and reinforcement. In the low-level policy, the robot plans the paths according to the order of path primitives and manipulates the objects to approach the goal poses one by one. We verify through experiments that the proposed method can achieve a higher success rate, fewer steps, and shorter path length compared with the state-of-the-art.

연구 동기 및 목표

• 비抓취 다강인 오브제트 재배열 문제의 NP-난이도에 대응하기 위해, 경로 계획과 이동 순서 설정이 모두 핵심적인 요소임을 고려한다.
• 다강인 조작에서 장기적 의사결정의 복잡성을 줄이기 위해 문제를 고수준 순서 결정과 저수준 경로 실행으로 분해함으로써 복잡도를 감소시킨다.
• 전문가의 애널로이드와 정책 그래디언트 훈련을 통합하여 강화학습의 샘플 효율성과 수렴 속도를 향상시킨다.
• 학습된 정책 네트워크를 사용하여 트리 확장을 및 시뮬레이션를 유도함으로써 MCTS의 검색 효율성과 장기적 계획 능력을 향상시킨다.

제안 방법

• 고수준 정책은 몬테카를로 트리 서치(MCTS)를 사용하여 최적의 재배열 순서를 탐색하며, 애널로이드 및 PPO로 훈련된 딥 정책 네트워크에 의해 유도된다.
• 정책 네트워크는 전문가의 시연 데이터를 사용하여 훈련되고, 장기적 수평에서 의사결정 능력을 향상시키기 위해 근접 정책 최적화(PPO)로 보정된다.
• 저수준 정책은 사전 정의된 경로 프리미티브를 실행하여, 잡지 않고 목표 자세로 물체를 이동시킨다.
• 경로 프리미티브는 액션 스페이스의 깊이와 너비를 줄여주며, 단일 스텝 이산 액션에 비해 더 빠르고 신뢰할 수 있는 저수준 제어를 가능하게 한다.
• 계층적 프레임워크는 고수준 계획(어느 순서로 물체를 이동시킬 것인가)과 저수준 실행(각 물체를 어떻게 이동시킬 것인가)을 분리하여 확장성을 향상시킨다.
• 정책 네트워크에 의해 MCTS가 가속화되며, 트리 확장 및 시뮬레이션 중에 유망한 액션을 우선순위로 지정함으로써 검색 시간을 단축하고 수렴을 향상시킨다.

실험 결과

연구 질문

• RQ1 MCTS와 딥 강화학습을 조합한 계층적 정책이 비抓취 다강인 오브제트 재배열 문제를 성공률과 효율성 측면에서 향상시켜 효과적으로 해결할 수 있는가?
• RQ2 애널로이드 학습과 강화학습을 융합함으로써 고수준 정책 네트워크의 샘플 효율성과 수렴 속도는 어떻게 향상되는가?
• RQ3 경로 프리미티브는 저수준 제어의 복잡성을 어느 정도 감소시키며, 물체 조작의 안정성은 어떻게 향상되는가?
• RQ4 학습된 정책 네트워크의 통합이 장기적 수평 의사결정 과제에서 MCTS 성능을 어떻게 향상시키는가?
• RQ5 기존의 MCTS 및 강화학습 기반 기준 대비, 물체 수가 증가함에 따라 이 방법은 어떻게 확장되는가?

주요 결과

• 제안된 방법은 동일한 벤치마크에서 MCTS+DQN(65.0%)과 MCTS+Random(45.0%)을 상회하는 80.0%의 성공률을 달성했다.
• 평균 단계 수는 31.90으로, 순수 강화학습(47.27단계) 대비 16.14단계 감소했다.
• 동일 평가에서 평균 수익 54.50을 기록하여 MCTS+PPO(13.78)와 MCTS+DQN(41.20)을 모두 상회했다.
• 물체 수가 증가함에 따라, 이 방법은 평균 액션 시퀀스 길이가 가장 짧고 분포가 가장 집중되어 있어, 향상된 확장성과 내구성을 보였다.
• 3,000 에포크에서 애널로이드 학습이 최고의 성능을 냈으며, 이보다 더 높거나 낮은 애널로이드 수준은 강화학습 성과를 떨어뜨려 최적의 균형이 필수적임을 시사했다.
• 모든 테스트된 물체 수에서 경로 길이와 단계 수 측면에서 일관된 우수성을 보이며, 복잡한 고차원 환경에서의 효과성을 확인했다.