[논문 리뷰] Learning Obstacle Representations for Neural Motion Planning

Robin Strudel, Ricardo García외 4명|arXiv (Cornell University)|2020. 08. 25.

Robotic Path Planning Algorithms참고 문헌 43인용 수 12

한 줄 요약

이 논문은 센서 데이터에서 유한한 3차원 점군을 인코딩하기 위해 PointNet을 사용하는 학습 가능한 장애물 표현 방식을 제안하며, 강화학습을 통해 신경 운동 정책와 함께 공동으로 훈련한다. 이는 운동 계획 분야에서 최신 기술 수준의 성능을 달성하여 성공률을 최대 10% 향상시키고 계산 비용을 한 단계 감소시키며, 복잡한 3차원 환경에서의 예측 불가능한 정적 및 동적 장애물로 일반화된다.

ABSTRACT

Motion planning and obstacle avoidance is a key challenge in robotics applications. While previous work succeeds to provide excellent solutions for known environments, sensor-based motion planning in new and dynamic environments remains difficult. In this work we address sensor-based motion planning from a learning perspective. Motivated by recent advances in visual recognition, we argue the importance of learning appropriate representations for motion planning. We propose a new obstacle representation based on the PointNet architecture and train it jointly with policies for obstacle avoidance. We experimentally evaluate our approach for rigid body motion planning in challenging environments and demonstrate significant improvements of the state of the art in terms of accuracy and efficiency.

연구 동기 및 목표

• 사전에 장애물에 대한 지식이 없는 미지의 동적 환경에서 센서 기반 운동 계획의 과제를 해결한다.
• 부분적인 센서 관측에서 유연한 장애물 표현을 학습함으로써 신경 운동 계획의 일반화 능력과 효율성을 향상시킨다.
• 예측 불가능한 물체 형태와 동적 장애물이 있는 복잡한 3차원 환경에서 실시간으로 샘플 효율적인 운동 계획을 가능하게 한다.
• RRT나 사전 정의된 표현에 의존하는 기존 방법의 한계를 극복하며, 이는 동적 환경에서 어려움을 겪고 테스트 시에 광범위한 샘플링을 요구한다.
• 장애물 인코딩과 운동 정책의 공동 학습이 기존 접근 방식보다 뛰어난 성능과 더 빠른 추론을 가능하게 한다는 것을 입증한다.

제안 방법

• 깊이 센서를 사용하여 가시 표면에서 샘플링된 3차원 점군을 이용해 장애물을 표현하며, 점들과 표면 법선을 포함한다.
• 전역적이고 순열에 불변적인 특징 임베딩을 생성하기 위해 PointNet 신경망 아키텍처를 사용해 점군 표현을 인코딩한다.
• 밀도 높은 보상과 충돌에 대한 음성 보상 항목을 사용하여 Soft Actor-Critic (SAC) 강화학습 프레임워크 내에서 장애물 인코더와 운동 정책를 공동으로 훈련한다.
• 행동 복제와 강화학습을 모두 활용하여 시연 데이터로부터 데이터 효율적인 정책 학습과 상호작용을 통한 자율적 개선을 가능하게 한다.
• 지각 범위의 유연성을 확보하기 위해 국소 또는 전역 장애물 관측을 처리할 수 있도록 네트워크를 설계한다.
• 샘플링 기반 기준 대비 노드 수를 최소화함으로써 실시간 추론을 최적화한다 (예: 평균 20개 노드).

실험 결과

연구 질문

• RQ1 딥 신경망은 원시 점군 데이터에서 일반화 가능한 장애물 표현을 학습할 수 있는가? 이는 미지의 환경에서 운동 계획 성능 향상에 기여하는가?
• RQ2 공동 훈련된 장애물 인코더와 운동 정책는 최신 기술 대비 성공률 및 계산 효율성 측면에서 어떻게 비교되는가?
• RQ3 합성 3D 상자 장애물에서 훈련된 정책이 새로운 물체 형태(예: 구체, 실린더)와 YCB 데이터셋의 실제 세계 물체로 구성된 환경으로 얼마나 잘 일반화되는가?
• RQ4 제안된 방법은 실시간으로 동적 장애물을 처리할 수 있는가? 이러한 시나리오에서 RRT 기반 접근 방식과 비교해 어떻게 성능을 냅니다?
• RQ5 계획 정확성과 강건성 측면에서 PointNet 기반 표현이 이미지 기반 CNN이나 학습된 잠재 표현보다 우수한가?

주요 결과

• 제안된 PointNet 기반 장애물 표현은 얇은 문을 통과하는 S자형 로봇 운동 계획에서 97.7%의 성공률를 달성하여, 동일한 노드 예산에서 Bi-RRT(62.5%)를 능가한다.
• 합성 장애물이 있는 예측 불가능한 3차원 환경(3D-Synthetic)에서, 전역 관측 시 91.3%의 성공률, 국소 관측 시 87.0%의 성공률를 기록하여 기존 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 실제 YCB 물체에 대해 91.2%의 성공률를 기록하여, 실제 센서 데이터와 새로운 물체 형태에 대한 강건성을 입증하였다.
• 움직이는 장애물이 있는 동적 환경에서 전역 관측 시 94.7%, 국소 관측 시 95.8%의 성공률를 달성하여 뛰어난 적응 능력을 보였다.
• 평균 경로 길이를 20개 노드로 줄여 Qureshi 등 [15]의 기준보다 10배 이상 효율성을 향상시켰다.
• 절단 분석 결과 PointNet 인코딩이 이미지 기반 CNN과 잠재 표현보다 우수하며, 예측 불가능한 환경에서 전역 관측 설정이 국소 관측보다 더 우수한 일반화 성능을 보였다.