[논문 리뷰] Fast and Robust Shortest Paths on Manifolds Learned from Data

Georgios Arvanitidis, Søren Hauberg외 2명|arXiv (Cornell University)|2019. 01. 22.

Model Reduction and Neural Networks인용 수 20

한 줄 요약

이 논문은 데이터로부터 학습된 리만 다양체에서 최단 경로를 계산하기 위해 해선형(jacobian-free) 고정점 반복 방법을 제안한다. 이는 표준 미분방정식(solvers)에서 발생하는 불안정성과 높은 계산 비용을 해결하며, 악조건의 야코비안을 피함으로써 강건성과 빠른 속도를 확보한다. 특히 복잡하고 데이터 기반인 다양체에서 일반적인 및 전용 솔버보다 빠르고 정확도가 뛰어나다.

ABSTRACT

We propose a fast, simple and robust algorithm for computing shortest paths and distances on Riemannian manifolds learned from data. This amounts to solving a system of ordinary differential equations (ODEs) subject to boundary conditions. Here standard solvers perform poorly because they require well-behaved Jacobians of the ODE, and usually, manifolds learned from data imply unstable and ill-conditioned Jacobians. Instead, we propose a fixed-point iteration scheme for solving the ODE that avoids Jacobians. This enhances the stability of the solver, while reduces the computational cost. In experiments involving both Riemannian metric learning and deep generative models we demonstrate significant improvements in speed and stability over both general-purpose state-of-the-art solvers as well as over specialized solvers.

연구 동기 및 목표

• 유한하고 노이즈가 있는 데이터로부터 학습된 리만 다양체에서 지오데식을 계산할 때 표준 ODE 솔버의 불안정성과 높은 계산 비용을 해결하기 위해.
• 데이터 기반 리만 계량에서 유도되는 악조건의 불안정한 야코비안으로 인해 상용 솔버가 실패하는 문제를 해결하기 위해.
• 기계학습에서 발생하는 복잡하고 고곡률의 다양체에서의 거리 계산을 위한 강건하고 효율적이며 확장 가능한 방법을 개발하기 위해.
• 이전의 확률적 수치 솔버(Hennig & Hauberg, 2014)를 보완하고, 지오데식 계산을 위한 증명 가능하게 수렴하는 실용적인 알고리즘으로 발전시키기 위해.

제안 방법

• 해선형 ODE 시스템의 야코비안을 필요로 하지 않고, 지오데식의 경계값 문제를 해결하기 위해 고정점 반복 기반의 반복 기법을 사용한다.
• 경로 근사의 부드러움을 보장하기 위해 가우시안 프로세스 회귀를 활용하여 리만 계량을 모델링하며, 안정적인 수렴을 가능하게 한다.
• 알고리즘은 GP 사후 분포에서 유도된 스무딩 연산자를 사용해 경로 추정치를 반복적으로 갱신하며, 명시적 야코비안 계산을 피한다.
• 이 방법은 스무딩 스퍼인 이론과 고정점 반복 이론(Mann, 1953; Johnson, 1972)에 기반하여, 약한 조건 하에서도 수렴을 보장한다.
• 리만 계량은 메트릭 학습 또는 딥 생성 모델(예: VAE)을 사용해 데이터로부터 추정되며, 계량은 평균 및 로그분산 함수의 야코비안 합으로 정의된다.
• 수렴 속도와 정확도를 향상시키기 위해 적응형 선색인과 메esh 정밀도 조정을 구현한다.

실험 결과

연구 질문

• RQ1 유한한 데이터로부터 학습된 악조건 또는 불안정한 계량을 가진 리만 다양체에서 해선형 고정점 반복 기법이 지오데식을 신뢰성 있게 계산할 수 있는가?
• RQ2 어려운 데이터 기반 다양체에서 제안된 방법이 일반적 및 전용 ODE 솔버보다 속도와 강건성 측면에서 어떻게 비교되는가?
• RQ3 고정점 접근법은 참값 지오데식으로 수렴하는가? 이전의 확률적 수치 솔버를 능가하도록 개선될 수 있는가?
• RQ4 다양체가 고곡률 또는 비균일한 계량 구조를 보일 경우, 이 방법은 정확도와 효율성을 어느 정도 유지하는가?

주요 결과

• 노이즈가 있는 2차원 구면에서 제안된 방법은 길이 2.52의 최단 지오데식 경로를 계산하며, bvp5c(3.65)와 Hennig & Hauberg(3.30)를 모두 능가한다.
• 50개의 무작위로 선택된 점 쌍에 대해 제안된 방법은 항상 최단 경로를 찾는 반면, bvp5c와 Hennig & Hauberg는 거리가 증가할수록 최적해를 넘어서는 해를 산출한다.
• 간단한 문제에서는 bvp5c보다 빠르며, 어려운 고곡률 문제에서는 런타임 오버헤드가 매우 작다.
• 불연속적인 계량 영역이 존재하는 고곡률 다양체에서는 bvp5c가 실패하는 상황에서도 제안된 방법은 강건하게 수렴한다. 특히 고곡률을 띤 반구를 횡단할 때 유의미한 성능을 보인다.
• 데이터 다양체에서 로그조건수 조건수가 높은 영역에서도 야코비안 조건수 조건수가 높아도 강건한 수렴을 달성한다.
• 알고리즘은 이전에 수렴 보장이 없었던 Hennig & Hauberg(2014) 방법의 수정 및 증명 가능한 수렴성을 확보한 버전으로 확인되었다.