[논문 리뷰] On Riemannian Optimization over Positive Definite Matrices with the Bures-Wasserstein Geometry

Andi Han, Bamdev Mishra외 2명|arXiv (Cornell University)|2021. 12. 06.

Morphological variations and asymmetry인용 수 1

한 줄 요약

이 논문은 대칭 양의 정부호(SPD) 행렬에 대한 리만 최적화에서 Bures-Wasserstein(BW) 기하학과 애파인 불변(AI) 기하학을 비교하며, BW의 선형 거리 의존성과 비음성 곡률이 특히 조건이 나쁜 행렬에서 강건성과 수렴성을 향상시킨다는 것을 입증한다. 또한, 주요 목적 함수에 대해 BW 기하학에서도 지오데식 볼록성이 유지된다는 것을 확인한다.

ABSTRACT

In this paper, we comparatively analyze the Bures-Wasserstein (BW) geometry with the popular Affine-Invariant (AI) geometry for Riemannian optimization on the symmetric positive definite (SPD) matrix manifold. Our study begins with an observation that the BW metric has a linear dependence on SPD matrices in contrast to the quadratic dependence of the AI metric. We build on this to show that the BW metric is a more suitable and robust choice for several Riemannian optimization problems over ill-conditioned SPD matrices. We show that the BW geometry has a non-negative curvature, which further improves convergence rates of algorithms over the non-positively curved AI geometry. Finally, we verify that several popular cost functions, which are known to be geodesic convex under the AI geometry, are also geodesic convex under the BW geometry. Extensive experiments on various applications support our findings.

연구 동기 및 목표

• 대칭 양의 정부호(SPD) 행렬에 대한 리만 최적화에서 널리 사용되는 애파인 불변(AI) 기하학과 비교하여 Bures-Wasserstein(BW) 기하학의 적합성을 평가하기 위해.
• BW의 선형 거리 의존성이 AI의 이차 의존성과 어떻게 대비되며, 이로 인해 최적화 성능에 어떤 영향을 미치는지 조사하기 위해.
• BW 기하학의 곡률 성질을 분석하고, 알고리즘 수렴 속도에 미치는 영향을 평가하기 위해.
• 일반적으로 사용되는 목적 함수들이 AI 기하학 하에서 지오데식 볼록성을 가지는 것으로 알려져 있으나, BW 기하학 하에서도 여전히 지오데식 볼록성을 유지하는지 검증하기 위해.
• 다양한 응용 분야에서 조건이 나쁜 SPD 행렬을 다룰 때 이론적 이점을 실증적으로 검증하기 위해.

제안 방법

• 논문은 Bures-Wasserstein 거리의 구조를 분석하며, SPD 행렬에 대한 선형 의존성을 강조하고, 이는 애파인 불변 거리의 이차 의존성과 대비된다.
• BW 기하학의 곡률 성질을 도출하고 분석하며, AI 기하학이 음성 곡률을 가질 수 있는 것과는 달리, BW 기하학은 비음성 섹션 곡률을 가짐을 증명한다.
• metric의 구조적 성질을 활용하여, 표준 목적 함수들이 BW 기하학 하에서 지오데식 볼록성을 갖는지를 이론적으로 분석한다.
• 저자들은 조건이 나쁜 SPD 행렬에서 양 기하학을 사용한 최적화 성능을 비교하며, 수렴 속도와 강건성을 측정한다.
• 실세계 응용 분야에서 광범위한 실험을 수행하여 이론적 결과를 검증하였으며, 이는 SPD 행렬 추정 및 낮은 랭크 근사와 같은 작업을 포함한다.
• 비교 평가를 위해 BW와 AI 기하학 모두에서 리만 최적화 알고리즘, 예를 들어 리만 트러스트 영역 및 공액 기울기 방법을 활용한다.

실험 결과

연구 질문

• RQ1 Bures-Wasserstein 거리의 SPD 행렬에 대한 선형 의존성은 애파인 불변 거리의 이차 의존성과 비교하여 최적화 성능에 어떻게 영향을 미치는가?
• RQ2 Bures-Wasserstein 기하학의 곡률 성질은 무엇이며, 리만 최적화의 수렴 속도에 어떻게 영향을 미치는가?
• RQ3 애파인 불변 기하학 하에서 지오데식 볼록성을 가지는 것으로 알려진 표준 목적 함수들이 Bures-Wasserstein 기하학 하에서도 여전히 지오데식 볼록성을 갖는가?
• RQ4 Bures-Wasserstein 기하학은 애파인 불변 기하학과 비교하여 조건이 나쁜 대칭 양의 정부호 행렬에서 더 뛰어난 강건성과 수렴성을 제공하는가?
• RQ5 Bures-Wasserstein 기하학은 SPD 행렬을 포함한 다양한 응용 분야에서 성능을 유지하거나 향상시킬 수 있는가?

주요 결과

• Bures-Wasserstein 거리는 SPD 행렬에 대해 선형 의존성을 보이며, 이는 애파인 불변 거리의 이차 의존성과 비교해 최적화를 단순화하고 수치적 안정성을 향상시킨다.
• Bures-Wasserstein 기하학은 비음성 국면 곡률을 가지며, 이는 AI 기하학이 음성 곡률을 가질 수 있는 것과는 달리, 리만 최적화 알고리즘의 더 빠르고 안정적인 수렴을 기여한다.
• 이전에 애파인 불변 기하학 하에서 지오데식 볼록성을 가지는 것으로 알려진 여러 널리 사용되는 목적 함수들이 Bures-Wasserstein 기하학 하에서도 여전히 지오데식 볼록성을 유지하며, 이는 유리한 최적화 행동을 보장한다.
• 실증 결과는 Bures-Wasserstein 기하학 하에서 리만 최적화가 애파인 불변 접근법에 비해 조건이 나쁜 SPD 행렬에서 더 뛰어난 강건성과 더 빠른 수렴을 달성함을 보여준다.
• 이 연구는 Bures-Wasserstein 기하학이 특히 수치적 난이도가 높은 영역에서 리만 최적화에 더 적합하고 강건한 선택임을 확인한다.