[논문 리뷰] Diffusion maps, spectral clustering and reaction coordinates of dynamical systems

Boaz Nadler, Stéphane Lafon외 2명|ArXiv.org|2005. 03. 22.

Topological and Geometric Data Analysis참고 문헌 15인용 수 4

한 줄 요약

이 논문은 고차원 동역계에서 차원 축소, 스펙트럼 클러스터링, 반응 좌표 식별을 위한 통합 프레임워크로 확산 맵을 제안한다. 서로 다른 정규화 방식을 사용한 데이터 그래프 위에서의 랜덤 워크를 구성함으로써, Fokker-Planck 또는 Laplace-Beltrami 연산자의 고유함수를 渐진적으로 복원하며, 샘플링된 데이터로부터 느린 변수와 기하학적 구조를 식별할 수 있다.

ABSTRACT

A central problem in data analysis is the low dimensional representation of high dimensional data, and the concise description of its underlying geometry and density. In the analysis of large scale simulations of complex dynamical systems, where the notion of time evolution comes into play, important problems are the identification of slow variables and dynamically meaningful reaction coordinates that capture the long time evolution of the system. In this paper we provide a unifying view of these apparently different tasks, by considering a family of {\em diffusion maps}, defined as the embedding of complex (high dimensional) data onto a low dimensional Euclidian space, via the eigenvectors of suitably defined random walks defined on the given datasets. Assuming that the data is randomly sampled from an underlying general probability distribution $p(\x)=e^{-U(\x)}$, we show that as the number of samples goes to infinity, the eigenvectors of each diffusion map converge to the eigenfunctions of a corresponding differential operator defined on the support of the probability distribution. Different normalizations of the Markov chain on the graph lead to different limiting differential operators. One normalization gives the Fokker-Planck operators with the same potential U(x), best suited for the study of stochastic differential equations as well as for clustering. Another normalization gives the Laplace-Beltrami (heat) operator on the manifold in which the data resides, best suited for the analysis of the geometry of the dataset, regardless of its possibly non-uniform density.

연구 동기 및 목표

• 고차원 데이터의 분석을 통합함으로써 확산 맵, 스펙트럼 클러스터링, 동역계에서의 반응 좌표 식별을 연결하고자 한다.
• 다양한 시간 스케일을 가진 시스템에서 저차원의 동역학적으로 의미 있는 변수를 식별하는 데 도전하는 데 목적이 있다.
• 이산적 그래프 기반 랜덤 워크와 다각형 위의 연속 미분 연산자 사이의 이론적 기반을 구축하고자 한다.
• 그래프 라플라시안의 다양한 정규화 방식이 서로 다른 기초 확률과정과 기하학적 해석에 어떻게 대응하는지 명확히 하고자 한다.
• 데이터로부터 느린 변수와 준안정 상태를 식별함으로써 복잡한 시스템의 효율적 코arse-graining을 가능하게 하고자 한다.

제안 방법

• 확산 커널(예: 가우시안)을 사용하여 데이터 포인트 간의 전이 확률을 정의함으로써 가중치가 부여된 그래프를 구성한다.
• 정규화 파라미터 α를 가진 그래프 위에서의 랜덤 워크의 가족을 정의함으로써 다양한 마르코프 체인을 도출한다.
• 각 정규화에 대해 전이 행렬의 고유벡터와 고유값을 계산하여 저차원 임bedding을 얻는다.
• 표본 수 N → ∞ 이면서 대역폭 ε → 0 일 때, 이산적 연산자가 확률과정의 무한소 생성자로 수렴한다.
• 다양한 α 값에 대해 한계 후행 및 전행 Fokker-Planck 연산자를 유도하여, Δφ − 2(1−α)∇φ·∇U 로 수렴함을 보인다.
• 결과로 얻어진 고유함수를 데이터 다각형의 기하학(Laplace-Beltrami), 밀도(정규화된 라플라시안), 또는 동역학(Fokker-Planck)에 연결한다.

실험 결과

연구 질문

• RQ1 확산 맵을 사용하여 고차원 동역계에서 느린 변수와 반응 좌표를 어떻게 식별할 수 있는가?
• RQ2 그래프 라플라시안의 정규화 방식과 그가 근사하는 한계 확률과정 사이의 관계는 무엇인가?
• RQ3 확산 맵의 고유벡터는 데이터 다각형 위의 미분 연산자의 고유함수로 어떻게 수렴하는가?
• RQ4 기저 확률 밀도 p(x) = e^{-U(x)} 는 랜덤 워크의 점점 수렴 행동에 어떤 역할을 하는가?
• RQ5 다른 정규화 방식의 그래프 라플라시안은 Fokker-Planck 또는 Laplace-Beltrami와 같은 서로 다른 연산자를 회복할 수 있는가? 이는 서로 다른 데이터 분석 과제에 관련된가?

주요 결과

• α = 1/2 일 때, 정규화된 그래프 라플라시안은 잠재함수 2U(x)를 가진 후행 Fokker-Planck 연산자로 수렴하며, 스펙트럼 클러스터링에 이상적이다.
• α = 1 일 때, 비등방성 정규화는 잠재함수 U(x)를 가진 후행 Fokker-Planck 연산자로 수렴하며, 기초 스토케스틱 미분방정식의 동역학과 일치한다.
• α = 0 일 때, 정규화는 라플라시안-벨트라미 연산자의 고유함수를 제공하며, 밀도에 관계없이 데이터 다각형의 내재 기하학을 포착한다.
• 적절한 스케일링을 갖춘 임의의 매끄러운 커널에 대해 일반 조건 하에서 고유벡터의 점점 수렴이 입증되었으며, 이는 다각형 위의 미분 연산자의 고유함수로 수렴함을 의미한다.
• 이 방법은 분자의 동역학과 같은 고차원 시스템에서 메타안정 상태와 느린 변수를 정확히 식별할 수 있으며, 확산 연산자의 상위 고유함수를 추출함으로써 가능하다.
• 이 프레임워크는 느린 변수 방향으로 더 큰 통합 단계를 허용함으로써 빠른 시뮬레이션을 지원하며, 동질화 및 코arse-graining의 맥락에서 이를 입증하였다.