[논문 리뷰] Spectral convergence of diffusion maps: improved error bounds and an alternative normalisation

Caroline L. Wormell, Sebastian Reich|arXiv (Cornell University)|2020. 06. 03.

Advanced Neuroimaging Techniques and Applications참고 문헌 35인용 수 12

한 줄 요약

이 논문은 공간적으로 국소화된 하르드 공간 임bedding와 스펙트럼 안정성 분석을 도입하여 초구면에서의 확산 맵에 대한 이론적 오차 한계를 향상시켰으며, 고유값과 고유함수에 대해 일치하는 점별 수렴 속도를 달성하였다. 또한, 싱크호른 기반 정규화를 제안하여 평탄한 영역에서 보다 뛰어난 수렴성을 보이는 대칭 연산자 근사치를 얻었다.

ABSTRACT

Diffusion maps is a manifold learning algorithm widely used for dimensionality reduction. Using a sample from a distribution, it approximates the eigenvalues and eigenfunctions of associated Laplace-Beltrami operators. Theoretical bounds on the approximation error are however generally much weaker than the rates that are seen in practice. This paper uses new approaches to improve the error bounds in the model case where the distribution is supported on a hypertorus. For the data sampling (variance) component of the error we make spatially localised compact embedding estimates on certain Hardy spaces; we study the deterministic (bias) component as a perturbation of the Laplace-Beltrami operator's associated PDE, and apply relevant spectral stability results. Using these approaches, we match long-standing pointwise error bounds for both the spectral data and the norm convergence of the operator discretisation. We also introduce an alternative normalisation for diffusion maps based on Sinkhorn weights. This normalisation approximates a Langevin diffusion on the sample and yields a symmetric operator approximation. We prove that it has better convergence compared with the standard normalisation on flat domains, and present a highly efficient algorithm to compute the Sinkhorn weights.

연구 동기 및 목표

• 확산 맵의 이론적 오차 한계와 실증 성능 사이의 오랜 격차를 해소한다.
• 분산과 편향 성분을 별도로 분석하여 고유값과 고유함수에 대한 더 날카운 수렴 속도를 유도한다.
• 싱크호른 가중치를 통한 새로운 정규화를 제안하여 평탄한 영역에서의 수렴성을 향상시킨다.
• 제안된 정규화의 이론적 타당성을 입증하기 위해 스펙트럼 수렴성과 결과로 얻어지는 연산자의 대칭성을 증명한다.
• 확산 맵의 맥락에서 싱크호른 가중치를 계산하기 위한 효율적인 알고리즘을 개발한다.

제안 방법

• 공간적 국소화를 활용하여 하르드 공간 위의 컴act 임베딩 추정치를 사용해 오차의 분산 성분을 근사한다.
• 정규화된 편향을 라플라스-베르트라미 연산자의 변형으로 모델링하고, PDE 이론에서 유래된 스펙트럼 안정성 결과를 적용한다.
• 핵심 행렬을 균형 잡는 싱크호른 기반 정규화를 도입하여 대칭 연산자 근사치를 생성한다.
• 해석적 방법을 통해 전이 밀도 및 리졸베이트 한계를 분석하여, 평탄한 영역에서 표준 정규화보다 빠른 수렴 속도를 보이는 싱크호른 정규화된 연산자가 수렴함을 증명한다.
• 스카우더 추정치와 기본 해의 가우시안 하한 추정치를 적용하여 연산자 노름과 수렴 속도를 제어한다.
• 실용적 타당성을 확보하기 위해 싱크호른 가중치를 계산하기 위한 효율적인 고정점 알고리즘을 개발한다.

실험 결과

연구 질문

• RQ1 초구면에서의 확산 맵 스펙트럼 수렴에 대해 더 날카운 이론적 오차 한계를 도출할 수 있는가?
• RQ2 확산 맵의 표준 정규화가 고유값과 고유함수에 대해 최적의 수렴 속도를 달성하는가?
• RQ3 싱크호른 균형을 기반으로 한 새로운 정규화가 표준 방법에 비해 스펙트럼 수렴을 향상시킬 수 있는가?
• RQ4 평탄한 영역에서 싱크호른 정규화된 확산 맵 연산자의 수렴 행동은 어떠한가?
• RQ5 확산 맵 맥락에서 싱크호른 가중치를 계산하기 위한 효율적인 알고리즘을 구축할 수 있는가?

주요 결과

• 논문은 고유값과 고유함수에 대해 모두 $ \tilde{\rho}(\rho) $ 순서의 일치하는 점별 오차 한계를 달성하여 실증 관측치와의 격차를 메웠다.
• 국소화된 컴팩트 임베딩을 활용한 하르드 공간에서의 분산 오차 성분은 향상된 $ M $-의존성으로 근사되었다.
• 편향 오차는 $ \tilde{\rho}(\rho) $ 속도로 감소함을 입증하였으며, 일阶 이산화에서 기대되는 $ \tilde{\rho}(\rho) $ 속도와 일치한다.
• 제안된 싱크호른 정규화는 평탄한 영역에서 표준 정규화보다 빠른 수렴을 보이는 대칭 연산자 근사치를 제공한다.
• 리졸베이트 $ (I + \tilde{\rho}(\rho))^{-1} $ 의 연산자 노름은 $ \tilde{\rho}(\rho) $ 에 독립적인 상수 $ C_{52} $ 로 균일하게 유계이다.
• 실용적 구현을 가능하게 하기 위해 효율적인 고정점 알고리즘을 개발하여 싱크호른 가중치를 계산하였다.