[논문 리뷰] Barycenter Estimation of Positive Semi-Definite Matrices with Bures-Wasserstein Distance

Jingyi Zheng, Huajun Huang외 3명|arXiv (Cornell University)|2023. 02. 24.

EEG and Brain-Computer InterfacesNeuroscience인용 수 3

한 줄 요약

이 논문은 양의 준정부호(PSD) 행렬에 대한 Bures-Wasserstein(BW) 거리 기반의 새로운 바리센터 추정 프레임워크를 제안한다. 기존의 애핀-인variant 리만기반(AI) 방법의 한계를 극복하며, BW 거리가 PSD 다양체 위에서 잘 정의된 수학적 기반을 확립하고, 삼중의 효율적인 알고리즘—유도 평균, 투영 평균, 저비용 평균—을 도입함으로써, 특히 근접한 영값을 가진 고차원 데이터에서 BW 기반 바리센터 추정이 훨씬 더 강건하고 효율적임을 입증한다.

ABSTRACT

Brain-computer interface (BCI) builds a bridge between human brain and external devices by recording brain signals and translating them into commands for devices to perform the user's imagined action. The core of the BCI system is the classifier that labels the input signals as the user's imagined action. The classifiers that directly classify covariance matrices using Riemannian geometry are widely used not only in BCI domain but also in a variety of fields including neuroscience, remote sensing, biomedical imaging, etc. However, the existing Affine-Invariant Riemannian-based methods treat covariance matrices as positive definite while they are indeed positive semi-definite especially for high dimensional data. Besides, the Affine-Invariant Riemannian-based barycenter estimation algorithms become time consuming, not robust, and have convergence issues when the dimension and number of covariance matrices become large. To address these challenges, in this paper, we establish the mathematical foundation for Bures-Wasserstein distance and propose new algorithms to estimate the barycenter of positive semi-definite matrices efficiently and robustly. Both theoretical and computational aspects of Bures-Wasserstein distance and barycenter estimation algorithms are discussed. With extensive simulations, we comprehensively investigate the accuracy, efficiency, and robustness of the barycenter estimation algorithms coupled with Bures-Wasserstein distance. The results show that Bures-Wasserstein based barycenter estimation algorithms are more efficient and robust.

연구 동기 및 목표

• 공분산 행렬이 종종 양의 준정부호(PSD)인 고차원 환경에서 애핀-인변 리만(AI) 거리의 불안정성과 비효율성을 해결한다.
• 양의 준정부호 행렬 다양체 위에서 Bures-Wasserstein(BW) 거리의 수학적 기반을 확립하며, 그 메트릭 성질과 재접합 맵(retraction maps)을 포함한다.
• BW 거리를 사용하여 PSD 행렬의 프레셰 평균(barycenter)을 추정하기 위한 세 가지 새로운 알고리즘—유도 평균, 투영 평균, 저비용 평균—을 개발한다.
• 노이즈와 다양한 행렬 차원 및 수치에 대한 정확도, 효율성, 강건성을 평가한다.
• 행렬이 엄밀히 정부호가 아니면 실패하는 AI 기반 방법에 대한 실용적 대안을 제공하며, 특히 고차원 뇌과학 및 신호 처리 응용 분야에서 유용하다.

제안 방법

• 양의 준정부호 행렬 A와 B 사이의 Bures-Wasserstein 거리를 $ d_{BW}(A,B) = \left( \mathrm{tr}(A) + \mathrm{tr}(B) - 2\, \mathrm{tr}\left( (A^{1/2} B A^{1/2})^{1/2} \right) \right)^{1/2} $로 정의하여, $ \overline{\mathbb{P}}_n $ 위에서 유효한 리만 기하학적 메트릭임을 보장한다.
• BW 거리가 메트릭 성질을 만족하고, AI 거리가 가역성을 요구하는 것과 달리 특이행렬(PSD)인 경우에도 잘 정의됨을 증명한다.
• BW 거리에 기반한 기울기 하강 유사 업데이트 방식을 사용하여 반복적으로 바리센터 추정치를 갱신하는 유도 평균 알고리즘을 제안한다.
• 산술 평균을 BW 메트릭을 사용하여 PSD 다양체 위로 투영하는 방식으로 안정성을 향상시킨 투영 평균 알고리즘을 도입한다.
• 특히 대규모 문제에 유용한 초기 바리센터 추정을 위한 빠른 근사 방법으로 저비용 평균 알고리즘을 개발한다.
• 모든 반복 계산이 PSD 다양체 내부에 머무르도록 재접합 맵을 사용하여 최적화 과정 중 수치적 안정성을 유지한다.

Figure 1: Manifold and its tangent space at point $A\in\overline{\mathbb{P}}_{n}$

실험 결과

연구 질문

• RQ1 행렬이 거의 특이 또는 고차원일 경우, Bures-Wasserstein 거리가 애핀-인variant 리만 거리에 비해 강건성 면에서 어떻게 다를까?
• RQ2 행렬 역행렬 계산이 불안정한 상황에서, BW 거리를 사용하여 PSD 행렬의 프레셰 평균을 효율적이고 안정적으로 추정할 수 있는가?
• RQ3 제안된 바리센터 추정 알고리즘(유도 평균, 투영 평균, 저비용 평균)이 노이즈와 다양한 행렬 차원에서 정확도, 효율성, 강건성 면에서 어떻게 상호 비교되는가?
• RQ4 행렬 차원 $ n $ 과 행렬 수 $ m $ 가 BW 기반 바리센터 추정의 강건성에 어떤 영향을 미치는가?
• RQ5 작은 헤르미트 노이즈에 오염된 행렬에 대해, BW 기반 바리센터가 AI 기반 바리센터보다 더 강건한가?

주요 결과

• 행렬이 양의 준정부호에 가까워지면, Bures-Wasserstein 거리가 애핀-인variant 거리보다 더 강건한 경향을 보이며, 특히 고차원 환경에서 두드러진다.
• $ m \gg n $ 조건에서 BW 기반 투영 평균 알고리즘이 다른 알고리즘보다 강건성 면에서 뛰어나며, 모든 테스트 구성에서 p값 < 0.05를 기록한다.
• BW 유도 평균 알고리즘이 AI 유도 평균 알고리즘보다 유의미하게 더 강건하며, 크러스칼-월리스 및 윌콕슨 순위합 검정에서 모든 p값 < 0.05를 기록한다.
• $ n = 20 $ 인 경우, BW 투영 평균에 의한 편향된 행렬과 원래 행렬 간의 프로베니우스 거리 분포는 $ m $ 증가에 따라 변동성이 감소함을 보이며, 이는 강건성 향상을 시사한다.
• $ m \geq 50 $ 인 경우, BW 투영 평균 알고리즘이 BW 유도 평균 알고리즘보다 유의미하게 더 강건하며, 모든 비교에서 p값 < 0.05를 기록한다.
• 제안된 BW 기반 바리센터 추정 프레임워크는 계산적으로 효율적이며, 큰 $ n $ 과 $ m $ 에 대해서도 수치적으로 안정적이며, 실세계의 BCI 및 생물의학 신호 처리 응용에 적합하다.

Figure 2: Illustration of the Inductive Mean Algorithm.