[논문 리뷰] Sparse Quadratic Optimisation over the Stiefel Manifold with Application to Permutation Synchronisation

Florian Bernard, Daniel Cremers외 1명|arXiv (Cornell University)|2021. 09. 30.

Face and Expression Recognition인용 수 4

한 줄 요약

이 논문은 기존의 직교 반복법(Orthogonal Iteration)을 개선하여 스토이벨 다양체 위에서 희소 이차 최적화 문제를 해결하는 새로운 알고리즘을 제안한다. 이 알고리즘은 전역 최적성 보장을 유지하면서도 직교 불변성(orthogonal invariance)을 통해 희소성을 증진시킨다. 특히 순열 동기화(permutation synchronisation) 문제에서 기존 방법들보다 정확도와 실행 시간 면에서 뛰어난 성능을 발휘한다.

ABSTRACT

We address the non-convex optimisation problem of finding a sparse matrix on the Stiefel manifold (matrices with mutually orthogonal columns of unit length) that maximises (or minimises) a quadratic objective function. Optimisation problems on the Stiefel manifold occur for example in spectral relaxations of various combinatorial problems, such as graph matching, clustering, or permutation synchronisation. Although sparsity is a desirable property in such settings, it is mostly neglected in spectral formulations since existing solvers, e.g. based on eigenvalue decomposition, are unable to account for sparsity while at the same time maintaining global optimality guarantees. We fill this gap and propose a simple yet effective sparsity-promoting modification of the Orthogonal Iteration algorithm for finding the dominant eigenspace of a matrix. By doing so, we can guarantee that our method finds a Stiefel matrix that is globally optimal with respect to the quadratic objective function, while in addition being sparse. As a motivating application we consider the task of permutation synchronisation, which can be understood as a constrained clustering problem that has particular relevance for matching multiple images or 3D shapes in computer vision, computer graphics, and beyond. We demonstrate that the proposed approach outperforms previous methods in this domain.

연구 동기 및 목표

• 스토이벨 다양체 위에서 조합 최적화 문제의 스펙트럼 이론적 근사 기법에서 희소성 증진의 부족을 해결하기 위해.
• 직교 행렬 위에서의 이차 최적화 문제에서 전역 최적성 보장을 유지하면서도 희소 해를 도출하기 위해.
• 직교 불변성을 활용하여 전역 최적 해를 더 희소한 표현으로 회전시키되, 최적성은 유지하기 위해.
• 다중 영상 및 3D 모양 매칭 분야에서 핵심적인 문제인 순열 동기화에서 성능을 향상시키기 위해.
• 학습 파이프라인에 통합 가능한 확장성 있고 효율적이며 미분 가능한 방법을 제공하기 위해.

제안 방법

• 해결하고자 하는 문제의 특성을 반영해, 기존의 직교 반복법(Orthogonal Iteration)에 희소성 증진을 위한 보조 목적함수를 도입함으로써 개선된 알고리즘을 제안한다.
• 각 반복 단계에서 현재 해에 대해 희소성 증진 목적함수의 기울기를 기반으로 회전 행렬을 계산한다.
• 해의 주된 부분공간을 유지함으로써 원래의 이차 최적화 문제에 대해 전역 최적성 보장을 유지한다.
• 기존 직교 반복법과 동일한 수렴 성질을 유지하며, 거의 모든 점에서 수렴 보장을 보장한다.
• 희소성 도달은 불변 부분공간 내에서 해를 회전시킴으로써 달성되며, 이는 전역 최적 해의 임의의 직교 변환이 여전히 최적임을 이용한 것이다.
• 선택적으로 비음성 제약 조건을 도입하기 위해 희소성 증진 목적함수를 수정할 수 있다.

실험 결과

연구 질문

• RQ1 전역 최적성의 손실 없이 스토이벨 다양체 최적화에서 희소성을 효과적으로 증진시킬 수 있는가?
• RQ2 직교 불변성을 활용하여 전역 최적 해를 더 희소한 표현으로 회전시킬 수 있는가?
• RQ3 제안된 방법은 순열 동기화 작업에서 기존 스펙트럼 이론적 근사 기법과 비교해 어떻게 성능을 냈는가?
• RQ4 희소성 증진 메커니즘이 조합 최적화 문제의 이산 해 품질에 얼마나 기여하는가?
• RQ5 이 방법은 직교성, 희소성, 비음성 조건을 요구하는 다른 스펙트럼 이론적 근사 기법으로 확장 가능한가?

주요 결과

• 제안된 알고리즘은 스토이벨 다양체 위에서 이차 최적화 문제에 대해 전역 최적 해를 도출하면서도, 직교 불변성을 활용해 희소성을 효과적으로 증진시킨다.
• 기존 직교 반복법와 동일한 수렴 속도와 전역 최적성 보장을 유지한다.
• 순열 동기화 문제에서 최신 기준 기준보다 더 높은 F-스코어와 더 나은 사이클 일致성(cycle consistency)을 달성한다.
• 특히 노이즈가 많거나 데이터가 불완전한 환경에서 부분 순열 동기화 작업에서 성능 향상을 보였다.
• QR 분해의 미분 가능성 덕분에 계산적으로 효율적이며, 미분 가능한 프로그래밍과도 호환된다.
• 실험 결과는 알고리즘이 큰 원소의 수를 줄이고 근사적으로 0에 가까운 원소를 더 많이 생성함으로써 효과적인 희소성 증진을 달성했음을 확인한다.