[논문 리뷰] miniSAM: A Flexible Factor Graph Non-linear Least Squares Optimization Framework

Jing Dong, Zhaoyang Lv|arXiv (Cornell University)|2019. 09. 03.

Robotics and Sensor-Based Localization참고 문헌 10인용 수 9

한 줄 요약

miniSAM은 로봇공학 및 컴퓨터 비전 분야에서 유연한 프로토타이핑을 위한 비선형 최소제곱 최적화를 위한 경량이고 오픈소스인 C++/파이썬 프레임워크입니다. 인자 그래프를 사용하며, 파이썬/넘파이 통합, 다양한 희소 선형 솔버(쿠다 가속된 cuSOLVER 포함), 사용자 정의 다양체를 지원하여, Ceres, g2o, GTSAM과 유사한 성능을 달성합니다. 다만 동적 메모리 할당 및 파이썬 호환성 설계 선택으로 인한 약간의 오버헤드가 존재합니다.

ABSTRACT

Many problems in computer vision and robotics can be phrased as non-linear least squares optimization problems represented by factor graphs, for example, simultaneous localization and mapping (SLAM), structure from motion (SfM), motion planning, and control. We have developed an open-source C++/Python framework miniSAM, for solving such factor graph based least squares problems. Compared to most existing frameworks for least squares solvers, miniSAM has (1) full Python/NumPy API, which enables more agile development and easy binding with existing Python projects, and (2) a wide list of sparse linear solvers, including CUDA enabled sparse linear solvers. Our benchmarking results shows miniSAM offers comparable performances on various types of problems, with more flexible and smoother development experience.

연구 동기 및 목표

• 로봇공학 및 컴퓨터 비전 분야에서 비선형 최소제곱 최적화를 위한 경량이고 확장 가능한 프레임워크를 개발하기 위해.
• 파이썬/넘파이 API를 통해 빠른 프로토타이핑을 가능하게 하되, C++ 성능를 유지하기 위해.
• Eigen, CHOLMOD, CUDA cuSOLVER를 포함한 다양한 희소 선형 솔버를 지원하기 위해.
• 기본 타입을 수정하지 않고도 사용자 정의 비용 함수와 다양체를 확장 가능하게 하기 위해.
• 최소한의 외부 종속성으로 크로스 플랫폼 호환성을 확보하기 위해.

제안 방법

• 비선형 최소제곱 문제를 인자 그래프로 모델링하며, 오차 함수는 강건 커널과 정보 행렬을 통해 정의합니다.
• 로컬 점 주변에서 자이아드 행렬을 사용한 반복 선형화를 통한 레벤버그-마르카르트 최적화를 적용합니다.
• 정규 방정식 JTJΔx = JTb를 해결하기 위해 콜레스키, LDLT 또는 PCG 분해를 적용합니다.
• 국소 좌표계 및 재구성 연산을 통해 일반적인 다각체를 지원하며, 타입 확장성을 위해 트레이트 기반 C++ 템플릿 전문화를 사용합니다.
• PyBind11를 통해 파이썬/넘파이 API를 완전히 노출하여 파이썬 프로젝트와의 원활한 통합을 가능하게 합니다.
• Eigen, CHOLMOD, CUDA cuSOLVER를 포함한 다양한 희소 선형 솔버를 통합하여 성능 튜닝의 유연성을 확보합니다.

실험 결과

연구 질문

• RQ1 경량이고 파이썬 접근이 가능한 프레임워크가 Ceres, g2o와 같은 기존 C++ 라이브러리와 비슷한 성능을 내는 비선형 최소제곱 최적화를 달성할 수 있는가?
• RQ2 동적 메모리 할당 및 파이썬 호환성 설계 선택이 최적화 작업의 런타임 성능에 미치는 영향은 어떠한가?
• RQ3 cuSOLVER와 같은 GPU 가속 희소 솔버가 miniSAM에서 대규모 문제에서 성능 향상에 얼마나 기여하는가?
• RQ4 miniSAM의 사용자 정의 다각체 및 손실 함수 지원이 GTSAM과 비교해 사용성과 확장성 측면에서 어느 정도인가?
• RQ5 최소한의 런타임 오버헤드를 가진 C++ 기반 최적화 프레임워크에 파이썬 바인딩을 사용할 경우 성능에 어떤 영향을 미치는가?

주요 결과

• CHOLMOD 같은 동일한 희소 선형 솔버를 사용할 경우, miniSAM은 Ceres 및 g2o와 유사한 최적화 시간을 기록하며, 오직 약간의 성능 오버헤드만 존재합니다.
• 2D 포즈 그래프(M3500)에서 CHOLMOD를 사용한 miniSAM은 0.090초를 기록했으며, g2o(0.059초)보다 略로 느리지만 GTSAM(0.207초)의 순차적 콜레스키보다 빠릅니다.
• 3D 포즈 그래프(Torus)에서 CHOLMOD를 사용한 miniSAM은 1.107초를 기록했으며, GTSAM의 순차적 콜레스키(2.836초)보다 빠르고 g2o의 CHOLMOD 성능(0.821초)과 유사합니다.
• CUDA cuSOLVER 솔버는 높은 지연(350ms)을 보이며, 소규모 문제에서는 CPU 기반 CHOLMOD보다 느려, 대규모 문제에만 적합합니다.
• 파이썬 호환성에 중점을 둔 설계 선택(동적 할당, 원시 포인터 미사용)에도 불구하고, miniSAM은 다양한 SLAM 문제에서 뛰어난 성능를 유지하며, 프로토타이핑에 실용적인 타당성을 입증합니다.