[논문 리뷰] Probabilistic Permutation Synchronization using the Riemannian Structure of the Birkhoff Polytope

Tolga Birdal, Umut Şimşekli|arXiv (Cornell University)|2019. 04. 11.

Topological and Geometric Data Analysis참고 문헌 102인용 수 30

한 줄 요약

이 논문은 Birkhoff 다면체의 리만 기하학적 구조를 활용하여 다중 시점 대응 동기화를 위한 새로운 기하학적 및 확률적 프레임워크를 제안한다. Birkhoff-Riemannian L-BFGS(최대사후확률 추정을 위한)와 Birkhoff-RLMC(불확실성 인식 샘플링을 위한) 두 가지 알고리즘을 제안하여, 합성 및 실재 데이터셋에서 Recall과 수렴 속도 면에서 최신 기술 수준의 성능을 달성하였으며, 이상치 탐지에 유용한 신뢰도 맵을 제공한다.

ABSTRACT

We present an entirely new geometric and probabilistic approach to synchronization of correspondences across multiple sets of objects or images. In particular, we present two algorithms: (1) Birkhoff-Riemannian L-BFGS for optimizing the relaxed version of the combinatorially intractable cycle consistency loss in a principled manner, (2) Birkhoff-Riemannian Langevin Monte Carlo for generating samples on the Birkhoff Polytope and estimating the confidence of the found solutions. To this end, we first introduce the very recently developed Riemannian geometry of the Birkhoff Polytope. Next, we introduce a new probabilistic synchronization model in the form of a Markov Random Field (MRF). Finally, based on the first order retraction operators, we formulate our problem as simulating a stochastic differential equation and devise new integrators. We show on both synthetic and real datasets that we achieve high quality multi-graph matching results with faster convergence and reliable confidence/uncertainty estimates.

연구 동기 및 목표

• 다양한 이미지 또는 3D 형태 간에 전역 일致성을 확보하는 데 도전하는 문제를 해결하기 위해.
• 동기화 파이프라인에서 히وري스틱 또는 기하학적 정밀화 방법의 한계를 극복하기 위해.
• Birkhoff 다면체 위에서 사후 샘플링을 통해 체계적인 불확실성 추정을 가능하게 하기 위해.
• 최근 개발된 Birkhoff 다면체의 리만 기하학을 활용하여 컴퓨터 시각 분야의 조합 최적화 문제를 해결하기 위해.
• 이중 확률 행렬의 비트라이비얼 다양체 구조에 맞는 새로운 리만 최적화 및 샘플링 알고리즘을 개발하기 위해.

제안 방법

• 순열 동기화에서 사이클 일관성을 수식화하기 위해 마르코프 무작위장치(MRF) 기반의 새로운 확률 모델을 도입한다.
• 조합 최적화 문제를 Birkhoff 다면체, 즉 이중 확률 행렬의 집합으로 완화하여 연속 최적화를 가능하게 한다.
• Birkhoff 다면체 위에서 최대사후확률(MAP) 추정을 수행하기 위해 일阶 재접속 연산자를 활용한 리만 L-BFGS를 적용한다.
• 사후 샘플링을 위한 새로운 기하학적 확률 미분 방정식(SDE)을 리만 랭게빈 몬테카를로(Riemannian Langevin Monte Carlo, RLMC) 기반으로 제안한다.
• 정확한 지수 매핑이 존재하지 않는 상황에서 효율적인 샘플링을 가능하게 하기 위해, 비가역적 지수 매핑을 일阶 재접속으로 대체하는 맞춤형 수치 적분기를 개발한다.
• 얻어진 사후 분포를 기반으로 각 대응 관계의 신뢰도 맵을 추정하여, 이상치 탐지 및 해의 정밀화에 기여한다.

실험 결과

연구 질문

• RQ1 Birkhoff 다면체의 리만 기하학적 구조는 순열 동기화 최적화 향상에 효과적으로 활용될 수 있는가?
• RQ2 불확실성 정량화를 포함한 체계적인 확률 모델은 다중 시점 대응 매칭에 구축될 수 있는가?
• RQ3 리만 최적화는 기존 방법 대비 수렴 속도와 해의 정확도 측면에서 뛰어나게 성능을 발휘하는가?
• RQ4 정확한 지수 매핑이 없는 상황에서도 근사 재접속을 통해 Birkhoff 다면체 위에서 효과적인 샘플링이 가능할 수 있는가?
• RQ5 사후 샘플링을 통한 신뢰도 맵은 초기 오차가 존재하는 상황에서도 대응 매칭의 강건성을 향상시킬 수 있는가?

주요 결과

• 제안된 Birkhoff-Riemannian L-BFGS 알고리즘은 합성 및 실재 데이터셋 모두에서 최신 기술 수준의 방법들보다 더 빠른 수렴 속도와 높은 Recall 성능을 달성하였다.
• Winebottle 및 Motorbike 데이터셋에서, 초기 상태의 Recall이 38.42%였으나 최적화 후 39.08%로 향상되었으며, MatchEIG 및 Wang et al.를 최대 6.2%p 이상 앞섰다.
• Tosca 3D 데이터셋에서 N=50일 경우 56.93%의 Recall을 기록했고, N=20일 경우 40.33%를 달성하여, Wang et al. 및 MatchEIG를 포함한 모든 기준선보다 뛰어났다.
• Birkhoff-RLMC 샘플러는 국소 최적해를 효과적으로 탐색하였으며, 유효한 샘플을 생성하는 데 성공했고, 샘플링 과정에서 더 나은 해를 발견할 수 있었다.
• 사후 샘플링을 통한 추정된 신뢰도 맵은 잘못된 매칭을 효과적으로 강조하여, 초기 추정치의 정밀화 가능성을 제공하였다.
• Birkhoff 다면체 위에서 리만 최적화와 샘플링을 통합함으로써, 특히 관건점 밀도가 낮은 상황에서도 초기 대응 관계가 열악한 경우에도 강건한 성능을 보였다.