[논문 리뷰] Attraction-Repulsion Spectrum in Neighbor Embeddings

Jan Niklas Böhm, Philipp Berens외 1명|arXiv (Cornell University)|2020. 07. 17.

Single-cell and spatial transcriptomics인용 수 32

한 줄 요약

논문은 t-SNE에서 attraction 강도(과장 매개변수)를 다양하게 하여 neighbor 임베딩에 대한 attraction-repulsion 스펙트럼을 드러내고, UMAP과 ForceAtlas2가 이 스펙트럼에 맵핑되는 방식과 UMAP의 음수 샘플링으로 인한 동작 해석을 보인다.

ABSTRACT

Neighbor embeddings are a family of methods for visualizing complex high-dimensional datasets using $k$NN graphs. To find the low-dimensional embedding, these algorithms combine an attractive force between neighboring pairs of points with a repulsive force between all points. One of the most popular examples of such algorithms is t-SNE. Here we empirically show that changing the balance between the attractive and the repulsive forces in t-SNE using the exaggeration parameter yields a spectrum of embeddings, which is characterized by a simple trade-off: stronger attraction can better represent continuous manifold structures, while stronger repulsion can better represent discrete cluster structures and yields higher $k$NN recall. We find that UMAP embeddings correspond to t-SNE with increased attraction; mathematical analysis shows that this is because the negative sampling optimisation strategy employed by UMAP strongly lowers the effective repulsion. Likewise, ForceAtlas2, commonly used for visualizing developmental single-cell transcriptomic data, yields embeddings corresponding to t-SNE with the attraction increased even more. At the extreme of this spectrum lie Laplacian Eigenmaps. Our results demonstrate that many prominent neighbor embedding algorithms can be placed onto the attraction-repulsion spectrum, and highlight the inherent trade-offs between them.

연구 동기 및 목표

• Prominent neighbor-embedding 방법들(t-SNE, UMAP, ForceAtlas2, Laplacian eigenmaps)을 공통의 attraction-repulsion 프레임워크로 통합한다.
• 연속 manifolds의 표현과 이산 클러스터의 표현이 attraction(과장)을 다르게 바꿀 때 어떻게 달라지는지 조사한다.
• UMAP와 FA2가 attraction-repulsion 스펙트럼에서 어디에 위치하는지 characterize하고 최적화 선택으로 인한 편차를 설명한다.
• 다양한 데이터셋에서 로컬 이웃 보존과 글로벌 구조 간의 trade-off를 정량화한다.

제안 방법

• 공통 NE 프레임워크에서 t-SNE, UMAP, FA2, Laplacian eigenmaps의 그래디언트/손실 공식을 도출하고 비교한다.
• t-SNE에서 attractive 힘을 스케일하는 exaggeration 매개변수 rho를 도입하고 분석한다.
• MNIST 및 합성/발달적 단일세포 데이터세트를 통해 rho를 증가시키면 attraction이 강해지고 연속적 구조가 강해지며, rho를 감소시키면 클러스터 보존이 강화되는 모습을 보인다.
• UMAP의 음수 샘플링이 효과적 반발 힘을 감소시켜 attraction을 실제로 증가시키는 방식과 이것이 스펙트럼의 임베딩에 어떻게 반영되는지 설명한다.
• 거리 상관관계(distance correlation)와 k-NN 재현(recall)을 사용하여 방법 및 rho 값에 따른 레이아웃 유사성과 지역 이웃 보존을 정량화한다.
• 오픈 소스 코드(ne-spectrum)와 표준 데이터셋을 사용한 구현 및 재현 가능한 분석을 제공한다.

실험 결과

연구 질문

• RQ1 다른 NE 알고리즘(t-SNE, UMAP, FA2, LE)은 attraction-repulsion 스펙트럼 내에서 어떻게 관계하는가?
• RQ2 t-SNE에서 attraction 힘을 증가시키거나 감소시킬 때 임베딩 특성은 어떤 식으로 나타나는가?
• RQ3 UMAP와 FA2가 t-SNE 스펙트럼의 특정 위치로 특징지어질 수 있으며, 이 위치는 무엇이 그들을 설명하는가?
• RQ4 UMAP의 음수 샘플링, FA2의 엣지 반발과 같은 최적화 선택이 실제 반발/ attraction 균형에 어떤 영향을 미치는가?
• RQ5 연속적인 매니폴드 구조 대 이산적 클러스터 구조 간의 표현에서 스펙트럼이 데이터셋 전반에 걸쳐 어떤 trade-off를 보이는가?

주요 결과

• attraction-repulsion 스펙트럼은 t-SNE의 exaggeration 매개변수 rho로 제어된다.
• 더 높은 attraction(rho>1)는 연속 매니폴드 구조를 더 잘 보존하고, 더 높은 반발력(더 낮은 rho)은 이산 클러스터를 강조하며 k-NN 재현 왜곡을 증가시킨다.
• UMAP 임베딩은 중간 정도의 attraction(rho 대략 4)와 비슷하고, ForceAtlas2는 매우 높은 attraction(rho 대략 30)와 유사하다.
• rho를 증가시키면 극한에서 Laplacian eigenmaps에 가까운 임베딩으로 수렴한다.
• UMAP의 음수 샘플링은 실질적 반발을 감소시켜 원시 교차 엔트로피 손실과의 차이를 설명하며, gamma와 m이 반발 힘을 조절한다.
• rho가 증가함에 따라 k-NN 재현은 단조롭게 감소하여 스펙트럼 전반에 걸친 글로벌 구조 대 지역 이웃 보존의 트레이드오프를 보여준다.
• 여러 데이터셋(MNIST, 뇌 오가노이드, 다른 이미지 데이터셋)에서 UMAP/FA2와 t-SNE 임베딩 간의 거리 상관은 특징적인 rho 범위에서 피크를 보이며(UMAP ~4, FA2 ~30).