[논문 리뷰] Proxy Templates for Inverse Compositional Photometric Bundle Adjustment

Christopher Ham, Simon Lucey외 1명|arXiv (Cornell University)|2017. 04. 23.

Robotics and Sensor-Based Localization참고 문헌 8인용 수 3

한 줄 요약

이 논문은 6-DoF 카메라 자세와 역 깊이를 파arameterizing하는 데 있어 표준 역합성 방법이 불가능하게 만드는 악조건의 도함수 문제를 해결하기 위해 프록시 템플릿을 제안한다. 初기 추정치를 사용해 기준 템플릿을 워핑함으로써 유효한 기울기를 확보하고, 표준 역합성 방법의 한계를 극복함으로써 전방합성 PBA 대비 최대 13배의 속도 향상을 달성하며, 정확도 손실은 최소한이다.

ABSTRACT

Recent advances in 3D vision have demonstrated the strengths of photometric bundle adjustment. By directly minimizing reprojected pixel errors, instead of geometric reprojection errors, such methods can achieve sub-pixel alignment accuracy in both high and low textured regions. Typically, these problems are solved using a forwards compositional Lucas-Kanade formulation parameterized by 6-DoF rigid camera poses and a depth per point in the structure. For large problems the most CPU-intensive component of the pipeline is the creation and factorization of the Hessian matrix at each iteration. For many warps, the inverse compositional formulation can offer significant speed-ups since the Hessian need only be inverted once. In this paper, we show that an ordinary inverse compositional formulation does not work for warps of this type of parameterization due to ill-conditioning of its partial derivatives. However, we show that it is possible to overcome this limitation by introducing the concept of a proxy template image. We show an order of magnitude improvement in speed, with little effect on quality, going from forwards to inverse compositional in our own photometric bundle adjustment method designed for object-centric structure from motion. This means less processing time for large systems or denser reconstructions under the same real-time constraints. We additionally show that this theory can be readily applied to existing methods by integrating it with the recently released Direct Sparse Odometry SLAM algorithm.

연구 동기 및 목표

• 역 깊이로 구조를 파arameterizing할 때, 역합성 광학적 배치 조정에서 부분 도함수의 악조건 문제를 해결하기 위해.
• 정규화된 깊이 도함수가 항등 워핑에서 0이 되는 제약을 극복함으로써 대규모 효율적 광학적 배치 조정을 가능하게 하기 위해.
• 역합성 업데이트를 위한 유효한 기울기 계산을 가능하게 하는 프록시 워프 형식을 개발하기 위해.
• 전방합성 대비 역합성 PBA로의 전환을 통해 속도 향상이 크게 이루어지는지 실험하기 위해.
• tight한 계산 제약 조건 하에서 밀도 재구성 및 대규모 SfM 시스템에서 실시간 성능을 달성하기 위해.

제안 방법

• 초기 자세 및 깊이 추정치를 사용해 기준 템플릿을 워핑함으로써 프록시 워프를 도입하고, 항등 워핑에 대한 새로운 평가 지점을 생성한다.
• 프록시 워프를 $\phi(\mathbf{x};\Delta\mathbf{p}) = \left< \mathbf{M}(\mathbf{R}\tilde{\mathbf{x}} + d\mathbf{t}) \right> $로 정의하며, 여기서 $\mathbf{R} = \Delta\mathbf{R}\mathbf{R}_0$, $\mathbf{t} = \mathbf{t}_0 + \Delta\mathbf{t}$, $d = d_0 + \Delta d$ 이고, $\phi(\mathbf{x};\mathbf{0}) = \mathbf{x}$ 를 만족시킨다.
• 워핑된 템플릿을 사용해 역합성 업데이트를 위한 기울기를 계산함으로써, 각 반복에서 헤시안을 재계산할 필요가 없도록 한다.
• 프록시 템플릿을 사용해 잔차의 매개변수에 대한 야코비안을 추정함으로써, 효율적인 역합성 업데이트를 가능하게 한다.
• 이 방법을 자체 개발한 광학적 배치 조정 파이프라인과 동시에 적용하고, Direct Sparse Odometry (DSO) 알고리즘과 통합한다.
• 최적화 과정에서 헤시안을 한 번만 재계산함으로써, 대규모 문제에서 계산 비용을 크게 감소시킨다.

실험 결과

연구 질문

• RQ1 왜 6-DoF 자세와 역 깊이로 파arameterizing된 광학적 배치 조정에서 표준 역합성 형식은 실패하는가?
• RQ2 항등 워핑에서 워핑 함수의 모든 부분 도함수가 0이 되지 않는 프록시 템플릿을 구성할 수 있는가?
• RQ3 제안된 프록시 워프 형식이 광학적 배치 조정에서 유효하고 효율적인 역합성 업데이트를 가능하게 하는가?
• RQ4 전방합성 대비 역합성 PBA로 전환했을 때, 속도 향상과 수렴 성능 향상은 어느 정도 이루어지는가?
• RQ5 프록시 템플릿 방법은 DSO와 같은 기존 SLAM 시스템에 효과적으로 통합되어 추적 효율성을 향상시킬 수 있는가?

주요 결과

• Toy Robot 시퀀스에서 역합성 방법은 전방합성 방법 대비 13배의 속도 향상을 달성했으며, 반복 수는 줄고 자세 추정의 상대 오차는 낮아졌다.
• Stanford Bunny 시퀀스에서는 역합성 방법이 전방합성 방법이 소요하는 시간의 1/4 미만으로 수렴하여 4배의 속도 향상을 기록했다.
• 합성 진짜값 시퀀스에서는 역합성 방법이 전방합성 방법보다 7배 이상 빠르게 동작했으며, 약간 높은 자세 오차와 낮은 깊이 오차를 기록했다.
• Direct Sparse Odometry (DSO)와의 통합으로 추적 프레임 레이트가 40% 향상되었고, 최종 카메라 경로 오차는 원래 DSO 대비 단지 0.047 단위에 그쳤다.
• 매우 높은 재구성 품질을 유지하였으며, 빠른 속도 향상에도 불구하고 정확도의 최소한의 열화가 발생했다.
• 프록시 템플릿 접근법은 이전에는 깊이 도함수의 악조건 문제로 인해 비가능했던 광학적 배치 조정에서의 역합성 최적화를 가능하게 하였다.