[논문 리뷰] Learning Deep SDF Maps Online for Robot Navigation and Exploration

Gadiel Sznaier Camps, Robert Dyro외 2명|arXiv (Cornell University)|2022. 07. 21.

Advanced Control Systems Optimization인용 수 4

한 줄 요약

이 논문은 실시간으로 유량되는 LiDAR 데이터로부터 깊이 있는 부호 거리 함수(SDF)를 온라인 학습하는 프레임워크를 제안하여, 동시에 순차적 볼록 모델 예측 제어를 통해 충돌 없는 경로 계획을 가능하게 하여 고해상도 3D 지ap을 실시간으로 구축한다. 이 방법은 국소 SDF 네트워크를 신뢰도 가중치로 융합하여 전역 지도를 구성함으로써, 지도의 정밀도와 계획의 견고성 측면에서 기존의 기준들보다 뛰어난 성능을 달성한다.

ABSTRACT

We propose an algorithm to (i) learn online a deep signed distance function (SDF) with a LiDAR-equipped robot to represent the 3D environment geometry, and (ii) plan collision-free trajectories given this deep learned map. Our algorithm takes a stream of incoming LiDAR scans and continually optimizes a neural network to represent the SDF of the environment around its current vicinity. When the SDF network quality saturates, we cache a copy of the network, along with a learned confidence metric, and initialize a new SDF network to continue mapping new regions of the environment. We then concatenate all the cached local SDFs through a confidence-weighted scheme to give a global SDF for planning. For planning, we make use of a sequential convex model predictive control (MPC) algorithm. The MPC planner optimizes a dynamically feasible trajectory for the robot while enforcing no collisions with obstacles mapped in the global SDF. We show that our online mapping algorithm produces higher-quality maps than existing methods for online SDF training. In the WeBots simulator, we further showcase the combined mapper and planner running online -- navigating autonomously and without collisions in an unknown environment.

연구 동기 및 목표

• 표면 법선 또는 색상 정보가 없는 흐린, 실시간 유량되는 LiDAR 데이터로부터 실시간으로 고품질의 대규모 3차원 지도를 구축하는 도전 과제를 해결한다.
• 메모리 소모가 크고 연속적인 경로 계획기와 호환되지 않는 볼륨 격자나 포인트 클라우드와 같은 전통적 표현 방식의 한계를 극복한다.
• 재난적 잊음 방지를 방지하고 점진적인 지도 확장을 지원함으로써, 로봇 주행을 위한 딥 SDF의 실시간 온라인 학습을 가능하게 한다.
• 딥 SDF 지도를 비선형 경로 계획기와 통합하여, 미지의 환경에서 동적이고 충돌 없는 주행을 가능하게 한다.
• 다양한 국소 SDF 네트워크를 신뢰도 가중치로 융합하여 전역적으로 일관되고 고해상도의 지도 표현을 유지하는 확장 가능한 메커니즘을 개발한다.

제안 방법

• 실시간 LiDAR 스캔 스트림을 사용하여 국소 환경의 부호 거리 함수(SDF)를 나타내는 딥 신경망을 훈련시키며, 표현 품질 향상을 위해 푸리에 특징 인코딩을 적용한다.
• 표면에서의 역거리에 의해 가중된 10,000개의 혼합 점을 사용하여 SDF 네트워크를 온라인으로 최적화함으로써 일반화 능력과 세부 사항 향상을 향상시킨다.
• 훈련 품질이 포화 상태에 도달하면 SDF 네트워크와 학습된 신뢰도 지표를 캐시하고, 새로운 탐색 영역을 맵핑하기 위해 새로운 네트워크를 초기화한다.
• 신뢰도 가중치 합산 방식을 사용하여 모든 캐시된 국소 SDF 네트워크를 융합하여 전역 SDF 지도를 구성함으로써 정확성과 확장성을 유지한다.
• 전역 SDF 지도를 순차적 볼록 모델 예측 제어(MPC) 계획기와 통합하여 실시간으로 동적으로 실현 가능한 충돌 없는 경로를 계산한다.
• 딥 SDF 지도의 야코비안을 계산하기 위해 자동 미분을 사용하여 MPC 최적화기에서 효율적인 기울기 기반 경로 최적화를 가능하게 한다.

Figure 1 : A robot in the Webots simulator (right) uses our method to plan a trajectory on a map reconstructed from a deep SDF (left) learned online from LiDAR data.

실험 결과

연구 질문

• RQ1 표면 법선 데이터나 색상 정보가 없는 흐린 실시간 LiDAR 스캔에서 딥 SDF를 재난적 잊음 없이 온라인으로 훈련시킬 수 있는가?
• RQ2 다양한 신뢰도 수준을 가진 다수의 국소적으로 훈련된 SDF 네트워크로부터 전역적으로 일관된 3차원 지도를 어떻게 구성할 수 있는가?
• RQ3 딥 SDF 지도 표현이 비선형 경로 계획기에서 충돌 제약 조건으로 효과적으로 활용될 수 있는가? 실시간 로봇 주행에 있어 성능은 어떠한가?
• RQ4 온라인 SDF 훈련이 지도 품질과 미지 환경에서의 계획 성능 측면에서 오프라인 또는 미세조정 기반 기준들에 비해 어떻게 비교되는가?
• RQ5 재정지점 MPC를 통한 온라인 지도 구축과 계획 통합이 복잡한 3차원 환경에서 자율적이고 적응적인 탐색 행동을 이끌어낼 수 있는가?

주요 결과

• 제안된 방법은 주방 및 공장 환경 모두에서 기준 기반 방법(미세조정, 배치 재훈련, 지속적 신경 지도)보다 더 높은 해상도의 지도를 생성하였다.
• 지속적 신경 지도 기반 방법은 표면 법선 데이터가 없고 RGB-D 데이터 대신 LiDAR를 사용함으로써 유효한 SDF 표현을 학습하지 못했다.
• 미세조정된 네트워크는 재난적 잊음을 겪어, 가장 최근에 방문한 위치의 표현만 유지하였다.
• 국소 SDF 네트워크당 평균 훈련 시간은 3.5분이며, 최대 29분, 최소 5초로, 효율적인 온라인 적응을 보여주었다.
• 로봇은 Webots 시뮬레이터에서 자율적으로 주행하여 매 5초마다 업데이트된 지도 정보를 기반으로 경로를 동적으로 재계획하였다.
• 지도 품질이 향상될수록 경로가 보다 직접적이게 되었고, 로봇은 탐색 행동을 자연스럽게 감소시켰다. 이는 지도 구축과 계획의 효과적인 통합을 시사한다.

Figure 2 : (Left) Model architecture. It takes as input a point p and outputs the scalar values $s$ and $c$ , which are the signed distance and the corresponding confidence respectively. The first layer is the Fourier feature layer that encodes the input into frequency dimensions. (Right) In free sp