[논문 리뷰] gradSLAM: Dense SLAM meets Automatic Differentiation

Krishna Murthy Jatavallabhula, Ganesh Iyer외 1명|arXiv (Cornell University)|2019. 10. 23.

Robotics and Sensor-Based Localization인용 수 21

한 줄 요약

gradSLAM은 밀도 높은 SLAM을 위한 미분 가능한 계산 그래프 프레임워크를 도입하여, 신뢰 영역 최적화기, 표면 측정, 레이 추적과 같은 비미분 가능 성분을 미분 가능하게 함으로써 2D 픽셀에서 3D 지ap로의 종단간 백프로파게이션을 가능하게 한다. 이는 전체 SLAM 파이프라인에 걸쳐 기울기 기반 학습을 가능하게 하여 로봇 공학 분야에서 데이터 기반 표현 학습의 새로운 길을 열어준다.

ABSTRACT

The question of representation is central in the context of dense simultaneous localization and mapping (SLAM). Newer learning-based approaches have the potential to leverage data or task performance to directly inform the choice of representation. However, learning representations for SLAM has been an open question, because traditional SLAM systems are not end-to-end differentiable. In this work, we present gradSLAM, a differentiable computational graph take on SLAM. Leveraging the automatic differentiation capabilities of computational graphs, gradSLAM enables the design of SLAM systems that allow for gradient-based learning across each of their components, or the system as a whole. This is achieved by creating differentiable alternatives for each non-differentiable component in a typical dense SLAM system. Specifically, we demonstrate how to design differentiable trust-region optimizers, surface measurement and fusion schemes, as well as differentiate over rays, without sacrificing performance. This amalgamation of dense SLAM with computational graphs enables us to backprop all the way from 3D maps to 2D pixels, opening up new possibilities in gradient-based learning for SLAM. TL;DR: We leverage the power of automatic differentiation frameworks to make dense SLAM differentiable.

연구 동기 및 목표

• 종단간 미분 가능성을 제공함으로써 밀도 높은 SLAM에서 표현 학습의 과제를 해결하기 위해.
• 전통적인 SLAM 시스템은 비미분 가능하므로 기울기 기반 최적화를 방해하므로 이를 극복하기 위해.
• 최적화, 표면 융합, 레이 추적과 같은 밀도 높은 SLAM의 핵심 비미분 가능 성분에 대해 미분 가능한 대체 방안을 설계하기 위해.
• 3D 지도에서 2D 픽셀까지의 백프로파게이션을 가능하게 하여 전체 SLAM 파이프라인에 걸쳐 공동 학습을 촉진하기 위해.
• 미분 가능한 SLAM을 통해 로봇 공학 분야에서 데이터 기반 표현 학습의 새로운 가능성을 열기 위해.

제안 방법

• 이미지 인코딩, 깊이 추정, 3D 지도 구축을 포함한 전체 밀도 높은 SLAM 파이프라인을 모델링하는 계산 그래프를 구축하기 위해.
• 반복 최적화 단계를 미분 가능한 연산으로 재구성함으로써 미분 가능한 신뢰 영역 최적화기를 설계하기 위해.
• 깊이 측정을 3D 지도에 융합하는 과정에서 기울기가 흐르도록 하는 미분 가능한 표면 측정 및 융합 기법을 개발하기 위해.
• 렌더링 및 투영에 사용되는 레이 캐스팅 연산을 미분 가능한 함수로 근사함으로써 이를 미분 가능하게 하기 위해.
• PyTorch와 같은 자동 미분 프레임워크를 활용하여 픽셀에서 3D 좌표에 이르기까지 모든 구성 요소를 통해 기울기를 계산하기 위해.
• 미분 가능한 구성 요소가 비미분 가능한 기준과 비교하여 성능을 유지함으로써 정확도를 훼손하지 않으면서도 학습을 가능하게 하기 위해.

실험 결과

연구 질문

• RQ1 밀도 높은 SLAM 시스템이 모든 구성 요소에서 기울기 기반 학습을 가능하게 하기 위해 완전히 미분 가능하게 만들 수 있는가?
• RQ2 신뢰 영역 최적화 및 표면 융합과 같은 비미분 가능 연산은 어떻게 미분 가능한 함수로 재구성할 수 있는가?
• RQ3 밀도 높은 SLAM 시스템에서 2D 이미지 픽셀에서 3D 지도 표현으로의 기울기 흐름이 어느 정도 유지될 수 있는가?
• RQ4 미분 가능한 SLAM이 종단간 학습을 통해 표현과 시스템 구성 요소를 공동 최적화하는 데 기여할 수 있는가?
• RQ5 정확도를 훼손하지 않으면서 핵심 SLAM 구성 요소에 미분 가능성을 도입할 때 성능 상의 상충 관계가 발생하는가?

주요 결과

• gradSLAM은 최적화, 융합, 레이 추적과 같은 핵심 SLAM 구성 요소를 미분함으로써 3D 지도에서 2D 픽셀까지의 백프로파게이션을 성공적으로 구현하였다.
• 프레임워크는 비미분 가능한 기준과 비교하여 유사한 성능을 유지함으로써, 미분 가능성으로 인한 정확도 손실가 없음을 입증하였다.
• 반복적 솔버를 계산 그래프 내에서 미분 가능한 연산으로 재구성함으로써, 미분 가능한 신뢰 영역 최적화기가 달성되었다.
• 미분 가능한 보간 및 집계 함수를 통해 표면 측정 및 융합 기법이 미분 가능하게 되었다.
• 레이 추적 연산은 미분 가능한 근사치를 통해 미분 가능하게 되었으며, 이는 투영 및 렌더링 단계를 통해 기울기 흐름을 가능하게 하였다.
• 밀도 높은 SLAM에 자동 미분 통합이 이루어지면서, 원시 픽셀에서 종단간 표현 학습에 이르는 새로운 학습 패러다임이 가능해졌다.