[논문 리뷰] Convergence of Laplacian spectra from random samples

Zuoqiang Shi|arXiv (Cornell University)|2015. 07. 01.

Topological and Geometric Data Analysis참고 문헌 16인용 수 16

한 줄 요약

이 논문은 리만 다양체 위의 일반적인 확률분포에서 샘플링된 점군에 적용된 점적분법(Point Integral Method, PIM)에서 고유벡터와 고유값의 수렴성을 확립한다. 표본 수가 증가하고 커널 대역폭이 좁아질수록 이산 라플라스 스펙트럼이 노이만 경계 조건을 갖는 가중치가 부여된 라플라스-벨트라미 연산자의 스펙트럼으로 수렴하며, 약간의 정규성 조건 하에서 이 수렴에 대한 속도 추정을 제공한다.

ABSTRACT

Eigenvectors and eigenvalues of discrete graph Laplacians are often used for manifold learning and nonlinear dimensionality reduction. It was previously proved by Belkin and Niyogi that the eigenvectors and eigenvalues of the graph Laplacian converge to the eigenfunctions and eigenvalues of the Laplace-Beltrami operator of the manifold in the limit of infinitely many data points sampled independently from the uniform distribution over the manifold. Recently, we introduced Point Integral method (PIM) to solve elliptic equations and corresponding eigenvalue problem on point clouds. We have established a unified framework to approximate the elliptic differential operators on point clouds. In this paper, we prove that the eigenvectors and eigenvalues obtained by PIM converge in the limit of infinitely many random samples independently from a distribution (not necessarily to be uniform distribution). Moreover, one estimate of the rate of the convergence is also given.

연구 동기 및 목표

• 표본이 균일 분포가 아닌 일반적인 분포에서 추출된 경우, 점군 데이터로부터 유도된 이산 고유값과 고유벡터가 진정한 라플라스-벨트라미 스펙트럼으로 수렴함을 확립하는 것.
• 이전 연구에서 균일 샘플링과 정규화된 그래프 라플라시안에 국한되어 있던 수렴 결과를, 점적분법(PIM)을 통해 비균일 샘플링으로 확장하는 것.
• 경계가 존재하는 다양체에서 PIM 기반 이산 고유값 문제의 연속 고유값 문제로의 수렴 속도에 대한 엄밀한 추정을 제공하는 것.
• 기존의 열핵 기반 접근 방식과 다름없이, 적분방정식과 해 연산자 기반의 새로운 분석 프레임워크를 개발하여 스펙트럼 수렴을 연구하는 것.

제안 방법

• 일반 커널 함수 $ R $ 와 그 누적형 $ \bar{R} $ 를 사용한 커널 기반 그래프 라플라시안 설정을 통해 점군에 대한 이산 고유값 문제를 도입한다.
• 세 가지 해 연산자 정의: 연속적인 가중치가 부여된 라플라스-벨트라미 문제에 대한 $ T $, 연속 적분방정식에 대한 $ T_t $, 그리고 이산 점군 근사에 대한 $ T_{t,n} $.
• 안정성과 근사 추정을 사용하여 이산 연산자 $ T_{t,n} $ 와 연속 연산자 $ T_t $ 사이, 그리고 $ T_t $ 와 진짜 해 연산자 $ T $ 사이의 수렴을 분석한다.
• 이산 문제와 연속 문제 사이를 연결하기 위해 새로운 중간 적분방정식 (1.5)를 도입하여, 타원형 편미분방정식의 수치해석 도구를 활용할 수 있도록 한다.
• 집중 부등식과 커널 기반 적분 오차 추정을 사용하여 다양체 위에서의 경험 기대와 진짜 기대값 간의 차이를 제한한다.
• 가중치가 부여된 $ L^2 $ 노름, 커널 지지집합, 샘플링 밀도를 포함한 추정의 사슬을 통해 수렴을 확립하며, 이는 $ n $, $ t $, 그리고 샘플링 밀도 $ p(\mathbf{x}) $ 에 의존하는 속도 추정으로 이어진다.

실험 결과

연구 질문

• RQ1 데이터 포인트가 비균일 분포에서 추출된 경우, PIM 기반 그래프 라플라시안의 고유계산체계가 진짜 라플라스-벨트라미 고유계산체계로 수렴하는가?
• RQ2 경계가 존재하는 다양체에 대해서도 수렴이 성립하는가? 그리고 한계에서 어떤 경계 조건이 나타나는가?
• RQ3 일반적인 샘플링 측도 하에서 이산 고유값과 고유벡터가 연속 체계로 수렴하는 속도는 무엇인가?
• RQ4 제안된 방법은 이전의 열핵 기반 수렴 증명과 어떤 점에서 분석적 접근 방식이 다른가?

주요 결과

• 표본 수 $ n \to \infty $ 이고 커널 대역폭 $ t \to 0 $ 일 때, PIM 기반 그래프 라플라시안의 이산 고유값과 고유벡터는 경계 조건이 노이만 조건인 가중치가 부여된 라플라스-벨트라미 연산자 $ -\frac{1}{p^2(\mathbf{x})}\text{div}(p^2(\mathbf{x})\nabla u(\mathbf{x})) $ 의 고유값과 고유벡터로 수렴한다.
• 이 수렴은 균일 분포 외에도 임의의 매끄러운 확률밀도 $ p(\mathbf{x}) $ 에서 추출된 데이터에 대해 성립하며, 이는 이전 결과를 확장한다.
• 정규성 및 샘플링 조건이 적절할 경우, 수렴 속도 추정이 유도되며, 고유값과 고유벡터의 오차는 $ O\left(\frac{1}{n^{1/2}} + t^{1/2}\right) $ 의 속도로 감소함을 보여준다.
• 분석 결과, 한계 연산자는 샘플링 밀도 $ p(\mathbf{x}) $ 에 따라 영향을 받으며, 이는 라플라시안에 conformal 인자 $ p^{-2} $ 를 통해 수정됨을 설명한다.
• 해 연산자 $ T_{t,n} \to T_t \to T $ 의 안정성과 근사성 증명을 통해 수렴을 확립하였으며, 적분방정식 설정과 커널 적분 오차 추정을 활용한다.
• 증명 기법은 이전 연구와 근본적으로 다름. 열핵 또는 확산 근사 기반 접근이 아닌, 편미분방정식 및 적분방정식 이론에 기반한다.