[논문 리뷰] Accelerating Integrated Task and Motion Planning with Neural Feasibility Checking

Lei Xu, Tianyu Ren외 2명|arXiv (Cornell University)|2022. 03. 20.

Human Pose and Action Recognition인용 수 8

한 줄 요약

이 논문은 객체 중심의 깊이 이미지를 사용하여 작업 및 운동 계획(TAMP)에서 운동의 타당성을 예측하는 CNN 기반 신경 타당성 분류기(NFC)를 제안한다. 이는 운동 계획 이전에 비타당하지 않은 동작을 걸러내어 계획 시간을 크게 줄인다. NFC는 로봇의 전체 작업 공간에 걸쳐 일반화되며, 운동 계획 시간을 평균 63.5% 감소시키고, 새로운 시나리오에서 8%의 가짜 음성 비율을 기록한다.

ABSTRACT

As robots play an increasingly important role in the industrial, the expectations about their applications for everyday living tasks are getting higher. Robots need to perform long-horizon tasks that consist of several sub-tasks that need to be accomplished. Task and Motion Planning (TAMP) provides a hierarchical framework to handle the sequential nature of manipulation tasks by interleaving a symbolic task planner that generates a possible action sequence, with a motion planner that checks the kinematic feasibility in the geometric world, generating robot trajectories if several constraints are satisfied, e.g., a collision-free trajectory from one state to another. Hence, the reasoning about the task plan's geometric grounding is taken over by the motion planner. However, motion planning is computationally intense and is usability as feasibility checker casts TAMP methods inapplicable to real-world scenarios. In this paper, we introduce neural feasibility classifier (NFC), a simple yet effective visual heuristic for classifying the feasibility of proposed actions in TAMP. Namely, NFC will identify infeasible actions of the task planner without the need for costly motion planning, hence reducing planning time in multi-step manipulation tasks. NFC encodes the image of the robot's workspace into a feature map thanks to convolutional neural network (CNN). We train NFC using simulated data from TAMP problems and label the instances based on IK feasibility checking. Our empirical results in different simulated manipulation tasks show that our NFC generalizes to the entire robot workspace and has high prediction accuracy even in scenes with multiple obstructions. When combined with state-of-the-art integrated TAMP, our NFC enhances its performance while reducing its planning time.

연구 동기 및 목표

• 통합된 작업 및 운동 계획(TAMP)에서 운동 계획의 높은 계산 비용이 현실 적용을 제한하므로 이를 해결한다.
• 비타당한 계획에 대한 비용이 많이 드는 운동 계획을 피하기 위해, 조기 단계에서 비타당하지 않은 동작 시퀀스를 식별하여 TAMP의 탐색 공간을 줄인다.
• 각 시나리오별 재학습 없이도 다양한 로봇 작업 공간 전반에서 일반화 가능한 효율적인 타당성 예측 모델을 개발한다.
• IDTMP와 같은 최신 TAMP 방법의 효율성과 확장성을 향상시키기 위해 빠르고 학습된 타당성 검사기를 통합한다.

제안 방법

• 목표 물체 주변 0.5m×0.5m 크기의 국소적, 객체 중심의 깊이 이미지를 사용하여, 동작 타당성을 분류하는 컨volutional 신경망(CNN)을 학습한다.
• 역기구학(IK) 타당성 검사를 통해 유도된 레이블을 가진 시뮬레이션된 TAMP 데이터를 사용해 NFC를 학습한다.
• NFC를 운동 계획 이전의 사전 검사로 통합한다: 예측 타당성 점수가 0.5 초과인 계획만 운동 계획기로 전달된다.
• 비타당한 동작 시퀀스를 조기에 걸러내기 위해 임계값 β > 0.5를 사용한다. 이는 운동 계획 호출 수를 줄인다.
• 다양한 시뮬레이션 환경과 여러 장애물이 있는 환경에서 학습함으로써, NFC가 전체 3차원 카르테시안 작업 공간 전반에서 일반화되도록 설계한다.
• 전체 환경 시각화가 아닌 국소적, 소규모 해상도의 이미지에 집중함으로써 추론 비용과 메모리 사용량을 최소화한다.

실험 결과

연구 질문

• RQ1 학습된, 시각 기반의 분류기가 다양한 로봇 작업 공간 전반에서 높은 정확도와 일반화 능력을 갖춰 TAMP에서 운동 타당성을 예측할 수 있는가?
• RQ2 학습 효율성, 추론 속도, 메모리 사용량 측면에서 이전의 방법인 Deep Visual Heuristics(DVH)와 비교해 NFC는 어떠한가?
• RQ3 장수평 운동 작업에서 NFC는 솔루션의 완전성을 희생시키지 않고 운동 계획 시간을 얼마나 줄일 수 있는가?
• RQ4 장애물에 의해 목표 물체가 가림을 받는 등 새로운 환경에 대해 NFC는 얼마나 잘 일반화되는가?
• RQ5 재학습 없이도 다양한 로봇 작업 공간에서 NFC를 배포할 수 있는가? 이는 광범위한 적용 가능성을 의미한다.

주요 결과

• NFC는 100개의 무작위로 샘플된 시나리오에서 Unpack 문제에 대해 운동 계획 시간을 평균 63.5% 감소시킨다.
• NFC를 사용할 경우, NFC 없이 평균 26회의 운동 계획 호출이 있었던 것을 2회로 줄였다.
• NFC는 8%의 가짜 음성 비율을 기록한다. 즉, 잘못된 예측으로 인해 8%의 시나리오에서 비타당한 계획이 잘못 걸러진다.
• NFC는 모든 효율성 지표에서 DVH를 능가한다: 1만 개의 데이터 샘플당 학습 시간은 3.0초(비교 대상 DVH는 22.5초), RAM 사용량은 0.19GB(비교 대상 DVH는 320×240 해상도에서 1.43GB)이다.
• 모델은 다수의 장애물과 다양한 테이블 위치가 있는 환경을 포함하여 전체 3차원 작업 공간 전반에서 효과적으로 일반화된다.
• IDTMP에 NFC를 통합함으로써 계획 시간에 상당한 향상이 있었으며, 높은 솔루션 품질을 유지함으로써 실생활 배포에 대한 실용성을 입증했다.