Skip to main content
누빈트
QUICK REVIEW

[논문 리뷰] Manifold Learning with Sparse Regularised Optimal Transport

Stephen X. Zhang, Gilles Mordant|arXiv (Cornell University)|2023. 07. 19.
Gaussian Processes and Bayesian InferenceComputer Science인용 수 3
한 줄 요약

이 논문은 이차 정규화를 사용하여 비용 행렬을 双스토하스틱 다양체 위로 대칭적으로 투영함으로써 강건하고 적응 가능한 유사도 행렬을 구성하는 희소 정규화된 최적 운반 이론 방법을 제안한다. 결과적으로 유도된 커널은 연속 극한에서 라플라스 유형의 연산자에 일致하게 근사되며, 단일세포 RNA 시퀀싱 및 MNIST 데이터셋을 포함한 노이즈가 많고 고차원적인 데이터에서 k-NN 및 엔트로픽 최적 운반 이론보다 뛰어난 성능을 보인다.

ABSTRACT

Manifold learning is a central task in modern statistics and data science. Many datasets (cells, documents, images, molecules) can be represented as point clouds embedded in a high dimensional ambient space, however the degrees of freedom intrinsic to the data are usually far fewer than the number of ambient dimensions. The task of detecting a latent manifold along which the data are embedded is a prerequisite for a wide family of downstream analyses. Real-world datasets are subject to noisy observations and sampling, so that distilling information about the underlying manifold is a major challenge. We propose a method for manifold learning that utilises a symmetric version of optimal transport with a quadratic regularisation that constructs a sparse and adaptive affinity matrix, that can be interpreted as a generalisation of the bistochastic kernel normalisation. We prove that the resulting kernel is consistent with a Laplace-type operator in the continuous limit, establish robustness to heteroskedastic noise and exhibit these results in numerical experiments. We identify a highly efficient computational scheme for computing this optimal transport for discrete data and demonstrate that it outperforms competing methods in a set of examples.

연구 동기 및 목표

  • 현대 데이터 과학 및 생물학에서 흔한 고차원이고 노이즈가 많은 데이터로부터 저차원 다양체를 학습하는 데 도전하는 것.
  • 표준 k-NN 및 엔트로픽 최적 운반 이론이 다양체 학습을 위한 유사도 행렬을 구성하는 데 가지는 한계를 극복하는 것.
  • 이차 정규화를 통한 최적 운반 이론을 통해 대칭적이고 희소하며 적응 가능한 유사도 행렬을 개발하여 이중스토하스틱 커널 정규화의 일반화를 이루는 것.
  • 연속 극한에서 유도된 커널이 라플라스 유형의 연산자와 이론적으로 일치함을 확립하는 것.
  • 이종 분산 노이즈에 대한 강건성과 실세계 데이터셋(예: 단일세포 RNA-seq 및 MNIST)에서의 향상된 성능을 입증하는 것.

제안 방법

  • 메트릭 공간 내의 쌍별 유클리드 거리에서 비용 행렬 $ C_{ij} = \frac{1}{2}\|x_i - x_j\|_2^2 $ 을 구성한다.
  • 이중스토하스틱 조건을 만족시키기 위해 이차 정규화를 적용한 대칭 최적 운반 투영을 통해 행과 열의 합이 동일하도록 하여 희소하고 적응 가능한 유사도 행렬을 도출한다.
  • 유도된 커널은 국소 기하학과 전반적 구조를 균형 잡는 이중스토하스틱 커널 정규화의 일반화로 해석된다.
  • 희소성과 안정성을 확보하기 위해 이차 페널티를 적용한 Sinkhorn-Knopp 반복 기반의 계산 효율적인 알고리즘을 사용한다.
  • 유사도 행렬은 이산 라플라스 연산자 $ \Delta^D $ 를 정의하는 데 사용되며, 이는 스펙트럼 임bedding 및 후속 분석에 활용된다.
  • 이론적 분석을 통해 커널이 연속 극한에서 라플라스 유형의 연산자로 수렴함을 확인하여 기하학적 일치성을 보장한다.
Figure 1 : Spiral with non-uniform noise. (a) Clean points ( $N=1000$ ) sampled from spiral in 3 dimensions. (b) Points embedded in 100 dimensions subjected to non-uniform noise in high dimension. (c) Spectral embedding error (measured in terms of subspace angle) for the spectral embeddings obtained
Figure 1 : Spiral with non-uniform noise. (a) Clean points ( $N=1000$ ) sampled from spiral in 3 dimensions. (b) Points embedded in 100 dimensions subjected to non-uniform noise in high dimension. (c) Spectral embedding error (measured in terms of subspace angle) for the spectral embeddings obtained

실험 결과

연구 질문

  • RQ1고차원이고 노이즈가 많은 데이터에서 다양체 학습을 위한 희소하고 대칭적이며 적응 가능한 유사도 행렬을 구성하기 위해 최적 운반 이론을 어떻게 적응시킬 수 있는가?
  • RQ2제안된 정규화된 최적 운반 이론 커널과 잠재 다양체 상의 라플라스-베르트라미 연산자 사이의 이론적 연결은 무엇인가?
  • RQ3이종 분산 노이즈 하에서 표준 k-NN 및 엔트로픽 최적 운반 이론에 비해 이 방법은 어떻게 성능을 발휘하는가?
  • RQ4k-NN가 실무에서 표준으로 사용되는데도 불구하고, 단일세포 RNA-seq 및 이미지 데이터에서 이 방법이 k-NN 및 엔트로픽 OT를 초월하는 이유는 무엇인가?
  • RQ5이 방법의 유한 표본 행동은 어떠한가? 어떤 설정에서는 실패하거나 최적화되지 않을 수 있는가?

주요 결과

  • 제안된 희소 정규화된 최적 운반 이론(QOT) 커널은 MNIST 및 단일세포 RNA-seq 데이터에서 스펙트럼 클러스터링 작업에서 k-NN 및 엔트로픽 최적 운반 이론을 일관되게 능가한다.
  • MNIST 데이터셋에서, QOT는 다양한 $ \varepsilon $ 및 주요 성분 설정에서 k-NN 및 엔트로픽 커널에 비해 더 높은 정규화된 상호정보량을 달성한다.
  • 단일세포 RNA-seq 데이터에서는 QOT가 스펙트럼 임bedding에서 선조 분지의 끝점이 기원 세포로부터 멀리 떨어져 있음을 올바르게 식별하며, RNA 속도 예측과 일치하지만, k-NN 및 EOT는 특정 선조를 포착하지 못한다.
  • 이론적 분석을 통해 QOT 커널이 연속 극한에서 라플라스 유형의 연산자로 수렴함을 확인하여 기하학적 일치성을 보장한다.
  • 이 방법은 이종 분산 노이즈에 대해 강건하며, k-NN 및 EOT가 성능이 저하되는 상황에서도 성능을 유지한다.
  • QOT의 계산 체계는 매우 효율적이고 확장 가능하여 5,000세포 단일세포 RNA-seq와 같은 대규모 데이터셋에서도 실용적으로 사용할 수 있다.
Figure 2 : Gaussian mixture model. (a-c) $N=750$ points sampled from a mixture of 3 Gaussians (250 points each) in $d=10$ dimensions, coloured by their true labels, with weighted graphs corresponding to the QOT, EOT and $k$ -NN kernels respectively. Inset: the values of the second smallest eigenvect
Figure 2 : Gaussian mixture model. (a-c) $N=750$ points sampled from a mixture of 3 Gaussians (250 points each) in $d=10$ dimensions, coloured by their true labels, with weighted graphs corresponding to the QOT, EOT and $k$ -NN kernels respectively. Inset: the values of the second smallest eigenvect

더 나은 연구,지금 바로 시작하세요

논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.

카드 등록 없음 · 무료 플랜 제공

이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.