[논문 리뷰] Towards Learning Efficient Maneuver Sets for Kinodynamic Motion Planning

Aravind Sivaramakrishnan, Zakary Littlefield외 1명|arXiv (Cornell University)|2019. 07. 18.

Robotic Path Planning Algorithms참고 문헌 7인용 수 4

한 줄 요약

이 논문은 신경망을 통해 생성된 학습된 주행 조합을 사용하여 DIRT와 같은 운동학적 동역학 계획자에서 이용 가능성을(목표 향한 방향성)과 탐색성(다양한 방향 커버리지)을 균형 있게 향상시키는 방법을 제안한다. 지역 장애물 및 히وري스틱 데이터로부터 효과적인 주행 조합을 예측하기 위해 완전 연결형 및 컨볼루션형 네트워크를 훈련시켜, 솔루션 시간과 비용을 감소시키며, FC(All) 모델이 시뮬레이션 환경에서 가장 빠른 수렴 속도와 가장 뛰어난 최종 솔루션 품질을 달성한다.

ABSTRACT

Planning for systems with dynamics is challenging as often there is no local planner available and the only primitive to explore the state space is forward propagation of controls. In this context, tree sampling-based planners have been developed, some of which achieve asymptotic optimality by propagating random controls during each iteration. While desirable for the analysis, random controls result in slow convergence to high quality trajectories in practice. This short position statement first argues that if a kinodynamic planner has access to local maneuvers that appropriately balance an exploitation-exploration trade-off, the planner's per iteration performance is significantly improved. Generating such maneuvers during planning can be achieved by curating a large sample of random controls. This is, however, computationally very expensive. If such maneuvers can be generated fast, the planner's performance will also improve as a function of computation time. Towards objective, this short position statement argues for the integration of modern machine learning frameworks with state-of-the-art, informed and asymptotically optimal kinodynamic planners. The proposed approach involves using using neural networks to infer local maneuvers for a robotic system with dynamics, which properly balance the above exploitation-exploration trade-off. In particular, a neural network architecture is proposed, which is trained to reflect the choices of an online curation process, given local obstacle and heuristic information. The planner uses these maneuvers to efficiently explore the underlying state space, while still maintaining desirable properties. Preliminary indications in simulated environments and systems are promising but also point to certain challenges that motivate further research in this direction.

연구 동기 및 목표

• 랜덤 제어 샘플링을 학습된 정보 기반 주행 조합으로 대체하여 渐近적으로 최적의 운동학적 동역학 계획자의 효율성을 향상시키기.
• 트리 기반 계획자에서 랜덤 제어 전파의 느린 수렴 문제를 해결하기 위해 학습된 이용-탐색 균형 전략을 도입하기.
• 지역 상태 정보(장애물 및 히وري스틱 안내)로부터 고품질 주행 조합을 추론하는 머신러닝 파ip라인 개발하기.
• 신경망을 최신 기술 계획자(예: DIRT)에 통합하여 수렴 속도를 가속시키면서도 渐近적 최적성 유지하기.
• 다양한 환경에서 첫 번째 솔루션 속도와 최종 솔루션 품질에 학습된 주행 조합의 영향 평가하기.

제안 방법

• 지역 상태 특징(장애물 지ap 및 히وري스틱 지도)에서 5개의 주행 조합(1개의 이용성, 4개의 탐색성)을 예측하는 신경망을 훈련하기.
• DIRT 계획자 실행 중에 1,000개의 랜덤 제어를 온라인으로 정제하여 각 상태에 대한 최적의 주행 조합 레이블 데이터셋 생성하기.
• 완전 연결형(FC) 및 컨볼루션형(Conv) 두 가지 네트워크 아키텍처를 사용하여 지역 공간 특징에서 주행 조합 예측하기.
• 예측된 주행 조합을 DIRT 계획자에 통합하여 트리 확장 시 우선순위를 두어 더 빠른 수렴 유도하기.
• 평가 시 목적지까지 유클리드 거리를 히وري스틱 함수로, 궤적 지속 시간을 비용 함수로 사용하기.
• 두 환경에서 훈련 및 평가 수행: 히وري스틱 안내가 효과적인 'Greedy' 설정과 탐색이 실패하는 'Explore' 설정.

실험 결과

연구 질문

• RQ1 학습된 주행 조합을 사용하면 운동학적 동역학 계획에서 솔루션을 찾기 위해 필요한 반복 수를 상당히 줄일 수 있는가?
• RQ2 랜덤 제어를 사용하는 계획자와 비교할 때, 학습된 주행 조합을 사용하는 계획자의 솔루션 비용과 수렴 속도는 어떻게 되는가?
• RQ3 학습된 조합에 이용성과 탐색성 주행 조합을 모두 포함함으로써 어려운 환경에서 계획자의 강건성이 향상되는가?
• RQ4 다른 신경망 아키텍처(FC 대비 Conv)는 생성된 주행 조합의 효율성과 품질에 어떤 영향을 미치는가?
• RQ5 실시간 계획에서 랜덤 제어 대비 학습된 주행 조합 사용 시 계산 비용과 충돌 관련 트레이드오프는 무엇인가?

주요 결과

• 'Explore' 환경에서 DIRT-FC (All) 모델은 첫 번째 솔루션을 찾는 데 가장 적은 반복 수(1,876.67회)와 가장 낮은 최종 솔루션 비용(130.92)을 기록했다.
• 'Greedy' 환경에서는 DIRT-FC (All) 모델이 620회의 반복 내에 첫 번째 솔루션을 찾고, 가장 낮은 최종 비용(45.47)을 달성하여 랜덤 제어 및 단일 모드 예측보다 뛰어난 성능을 보였다.
• 이용성만을 사용한 제어(예: DIRT-FC (Exploit))는 'Explore' 환경에서 일부 실행에서 실패했으며, 탐색 부족이 원인임을 시사했다.
• 완전 연결형 네트워크는 랜덤 제어 샘플링보다 더 빠른 추론 속도를 기록했지만, GPU 가속 없이 컨볼루션형 네트워크는 느렸다.
• 학습된 주행 조합은 로봇을 효과적으로 안내했지만, 원하는 것보다 더 많은 충돌을 유발했으며, 충돌 없는 경로를 우선시하도록 훈련을 개선할 필요가 있음을 시사했다.
• 현재 신경망 추론 비용은 랜덤 제어 샘플링 비용을 초과하고 있어, 실시간 배포를 위해 하드웨어 가속 또는 모델 압축이 필요하다는 것을 시사한다.