[논문 리뷰] Convex Relaxations of SE(2) and SE(3) for Visual Pose Estimation

Matanya B. Horowitz, Nikolai Matni외 1명|arXiv (Cornell University)|2014. 01. 15.

Robotics and Sensor-Based Localization참고 문헌 25인용 수 9

한 줄 요약

이 논문은 SE(2) 및 SE(3)에서 자세 추정 문제의 볼록 relaxation을 스펙트라할 표현을 통해 SO(2) 및 SO(3)의 볼록 hull을 표현하여 제안하며, 이는 정수형 프로그래밍을 통한 전역 최적 해를 가능하게 한다. 이 방법은 많은 실용적 설정에서 정확한 복원을 달성하고, ℓ₁ 정규화를 통해 노이즈 및 이방성에 대해 강건성을 확보하며, Levenberg-Marquardt 및 PCA와 같은 전통적 방법보다 정확도에서 뛰어나며, 특히 높은 노이즈 조건에서 뛰어난 성능을 보인다.

ABSTRACT

This paper proposes a new method for rigid body pose estimation based on spectrahedral representations of the tautological orbitopes of $SE(2)$ and $SE(3)$. The approach can use dense point cloud data from stereo vision or an RGB-D sensor (such as the Microsoft Kinect), as well as visual appearance data. The method is a convex relaxation of the classical pose estimation problem, and is based on explicit linear matrix inequality (LMI) representations for the convex hulls of $SE(2)$ and $SE(3)$. Given these representations, the relaxed pose estimation problem can be framed as a robust least squares problem with the optimization variable constrained to these convex sets. Although this formulation is a relaxation of the original problem, numerical experiments indicate that it is indeed exact - i.e. its solution is a member of $SE(2)$ or $SE(3)$ - in many interesting settings. We additionally show that this method is guaranteed to be exact for a large class of pose estimation problems.

연구 동기 및 목표

• 국소 최적화 방법의 자세 추정에서의 한계, 즉 초기화에 민감하고 노이즈 및 이방성에 대해 취약한 점을 해결하기 위해.
• SE(2) 및 SE(3)에서 강체 변환 문제의 볼록 relaxation을 개발하여 정수형 프로그래밍을 통한 전역 최적화를 가능하게 하기 위해.
• 반복적 보정이나 확률적 샘플링(예: RANSAC 또는 ICP)을 피하는 전역 최적 해 틀을 제공하기 위해.
• 최적화 공식화에서 ℓ₁ 정규화를 통해 이방성에 대한 강건성을 확보하기 위해.
• 어떤 조건에서든 이론적 해가 SE(2) 또는 SE(3) 내부에 존재함을 보장함으로써 전역 최적성을 보장하는, 볼록 relaxation이 정확한지 확인하기 위해.

제안 방법

• SO(2) 및 SO(3)의 타우토로지컬 오르빗옵(orbitopes)의 스펙트라할 표현을 사용하여, SE(2) 및 SE(3)의 볼록 hull에 대한 명시적 선형 행렬 부등식(LMI) 제약 조건을 구성한다.
• 자세 추정 문제는 변환 행렬이 SE(2) 또는 SE(3)의 볼록 hull에 제약을 받는 볼록 강건 최소 제곱 최적화 문제로 공식화되며, 이는 정수형 프로그래밍(SDP)으로 해결할 수 있다.
• 큰 잔차를 페널티 처리함으로써 자동으로 이방성을 탐지하고 제거하는 ℓ₁-정규화 변형을 도입한다.
• 최근의 볼록 대수기하학의 발전을 활용하여, LMI 제약 조건을 통해 회전군의 볼록 hull을 표현한다.
• CVX 및 SDPT3를 사용하여 구현되었으며, ADMM 기반 병렬화 및 커스텀 C++ 구현을 통해 성능 향상이 가능하다.
• 이전 자세로의 온전한 시작이 가능하지만 필수는 아니며, 이는 동적 추적 시나리오에서의 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 SE(2) 또는 SE(3)의 볼록 relaxation이 정확한 조건은 무엇인가? 즉, 최적 해가 원래 군 내부에 존재하는가?
• RQ2 반복적 보정이나 샘플링 기반 방법에 의존하지 않고도 자세 추정을 위한 볼록 최적화 프레임워크가 전역 최적성을 달성할 수 있는가?
• RQ3 노이즈 수준이 다양할 때, 제안된 방법은 Levenberg-Marquardt 및 PCA와 같은 최신 기술보다 정확도와 강건성 면에서 어떻게 비교되는가?
• RQ4 최적화에서 ℓ₁ 정규화는 시각적 자세 추정에서 이방성을 자동으로 탐지하고 제거할 수 있는가?
• RQ5 이 방법의 계산 오버헤드는 얼마이며, 실시간 구현을 위해 어떻게 줄일 수 있는가?

주요 결과

• 제안된 방법은 Levenberg-Marquardt 및 PCA보다 자세 추정 정확도에서 일관되게 뛰어나며, 특히 높은 노이즈 조건에서 뛰어난 성능을 보인다. 오르빗옵 기반 해는 N=944개 점과 δ=0.1 노이즈 조건에서 Levenberg-Marquardt의 오차의 23%에서 95% 수준을 기록했다.
• 많은 실용적 설정에서 relaxation이 정확하여, 최적 해가 SE(2) 또는 SE(3) 내부에 존재함을 보장하며 전역 최적성을 보장한다.
• 강건한 변형의 경우, λ=0.1일 때 잔차 오차 e=0.7825였고, PCA의 경우 e=25.3098였으며, 이는 강력한 이방성 제거 능력을 보여준다.
• 이 방법은 인위적인 이방성(예: 이동된 귀)을 잘못된 점으로 정확히 탐지하여, 이방성이 도입된 후에도 낮은 오차를 유지했다.
• 1.7GHz 맥북 에어에서 오르빗옵 방법의 실행 시간은 130ms였으며, Levenberg-Marquardt(25ms)보다 느렸지만, ADMM 기반 최적화 및 커스텀 구현을 통해 개선이 가능했다.
• 이 방법은 노이즈 및 이방성에 강건하며, 이방성이 모델에서 더 멀리 이동하더라도 성능 저하가 최소한이었으며, 변화에 대한 안정성을 보였다.