[논문 리뷰] A Heat Diffusion Perspective on Geodesic Preserving Dimensionality Reduction

Guillaume Huguet, Alexander Tong외 5명|arXiv (Cornell University)|2023. 05. 30.

Cancer-related molecular mechanisms research인용 수 4

한 줄 요약

이 논문은 라만 다양체 위의 열 확산과 기하학적 거리 간의 직접적인 연결을 위해 바라다한의 공식을 활용하는 새로운 차원 축소 방법인 히트 기하학적 임bedding을 소개한다. 열 커널 기반의 이질성 측도를 정의하고 다차원 척도법을 적용함으로써, 단일세포 RNA-seq와 같은 노이즈가 많고 고차원적인 데이터에서 최신 기법인 PHATE와 t-SNE보다 더 정확하게 내재된 다양체의 구조를 유지한다. 이는 시간적 궤적의 정확한 보간을 가능하게 한다.

ABSTRACT

Diffusion-based manifold learning methods have proven useful in representation learning and dimensionality reduction of modern high dimensional, high throughput, noisy datasets. Such datasets are especially present in fields like biology and physics. While it is thought that these methods preserve underlying manifold structure of data by learning a proxy for geodesic distances, no specific theoretical links have been established. Here, we establish such a link via results in Riemannian geometry explicitly connecting heat diffusion to manifold distances. In this process, we also formulate a more general heat kernel based manifold embedding method that we call heat geodesic embeddings. This novel perspective makes clearer the choices available in manifold learning and denoising. Results show that our method outperforms existing state of the art in preserving ground truth manifold distances, and preserving cluster structure in toy datasets. We also showcase our method on single cell RNA-sequencing datasets with both continuum and cluster structure, where our method enables interpolation of withheld timepoints of data. Finally, we show that parameters of our more general method can be configured to give results similar to PHATE (a state-of-the-art diffusion based manifold learning method) as well as SNE (an attraction/repulsion neighborhood based method that forms the basis of t-SNE).

연구 동기 및 목표

• 리만 다양체 위에서 열 확산과 기하학적 거리 간의 이론적 연결 고리를 설정하는 것.
• 열 커널 이론을 활용하여 기하학적 거리를 명시적으로 유지하는 새로운 차원 축소 방법을 개발하는 것.
• 기하학적 거리 유지와 노이즈 제거 측면에서 기존의 확산 기반 기법들인 PHATE와 t-SNE를 통합하고 일반화하는 통합 프레임워크를 제공하는 것.
• 내재된 다양체 구조를 유지함으로써 단일세포 RNA-seq 데이터에서 누락된 시간 포인트를 정확하게 보간할 수 있도록 하는 것.
• 지표적 기반의 유연한 방법을 제공하여 局부 구조와 전반적 구조, 노이즈에 대한 강건성 간의 균형을 설정 가능한 조정 가능한 하이퍼파rameter를 제공하는 것.

제안 방법

• 작은 시간 근처에서 열 커널의 로그가 제곱 기하학적 거리와 연결되는 바라다한의 공식에 기반한 열-기하학적 이질성 측도를 제안한다.
• 열 커널을 활용하여 기저 다양체 위의 진짜 기하학적 거리에 근접하는 거리 행렬을 구성한다.
• 다차원 척도법(MDS)을 적용하여 열-기하학적 이질성을 유지하면서 데이터를 저차원 공간에 임베딩한다.
• 수치적 안정성과 확장성 향상을 위해 하르낙 정규화와 효율적인 열 커널 근사법(Euler 및 체비셰프)을 통합한다.
• 확산 시간, 이웃 수, 근사 순서 등 하이퍼파rameter를 설정하여 局부 구조와 전반적 구조 간 균형을 제어한다.
• 이질성 함수와 손실 함수를 조정함으로써 방법이 PHATE(확산 기반) 또는 t-SNE(끌림/밀림력 기반)와 유사한 결과를 생성할 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 리만 다양체 위에서 열 확산은 기하학적 거리와 이론적으로 연결될 수 있는가? 만약 그렇다면 이를 차원 축소 향상에 어떻게 활용할 수 있는가?
• RQ2 제안된 히트 기하학적 임베딩 방법은 기하학적 거리 유지 측면에서 기존의 PHATE와 t-SNE와 비교해 어떻게 성능을 내는가?
• RQ3 내재된 다양체 구조를 유지함으로써 단일세포 RNA-seq 데이터에서 제거된 시간 포인트를 얼마나 정확하게 보간할 수 있는가?
• RQ4 핵심 하이퍼파rameter인 확산 시간, 이웃 수, 하르낙 정규화, 근사 순서는 임베딩 품질에 어떤 영향을 미치는가?
• RQ5 하이퍼파rameter 조정을 통해 기존의 최신 기법인 PHATE와 t-SNE의 행동을 재현할 수 있는가?

주요 결과

• 히트 기하학적 임베딩은 기준 기하학적 거리 유지 측면에서 최신 기법을 능가한다. 고노이즈와 확산 시간 0.5 조건에서 스위스롤 데이터셋에서 평균 상관계수 0.605±0.093를 기록했다.
• 트리 데이터셋에서 히트 지오(Heat Geo)는 기준 거리와 상관계수 0.784±0.051를 기록했으며, PHATE(0.550±0.042)와 t-SNE(0.706±0.054)를 상당히 앞서는 성능을 보였다.
• 이 방법은 단일세포 RNA-seq 데이터에서 제거된 시간 포인트를 다양체 구조를 유지함으로써 정확하게 보간할 수 있어 발달 생물학 응용 분야에서의 유용성을 입증했다.
• 하르낙 정규화는 특히 고노이즈 환경에서 안정성과 기준 거리와의 상관계수를 향상시키며, 제거 실험에서 이를 입증했다.
• 열 커널 이질성과 손실 함수를 조정함으로써 방법이 PHATE와 t-SNE의 결과를 유사하게 재현할 수 있어 기존 접근법의 이론적 통합을 보여주었다.
• kNN, UMAP, Scanpy 등 다양한 그래프 구축 방법에 대해 일관된 성능을 보이며 10차원 스위스롤 데이터셋에서 일반화 능력이 뛰어나다는 것이 입증되었다.