[논문 리뷰] A Unifying Perspective on Neighbor Embeddings along the Attraction-Repulsion Spectrum

Niklas Böhm, Philipp Berens외 1명|arXiv (Cornell University)|2021. 05. 04.

Single-cell and spatial transcriptomics참고 문헌 49인용 수 26

한 줄 요약

이 논문은 t-SNE, UMAP, ForceAtlas2, 그리고 라플라시안 이그재팬즈를 포함한 이웃 임베딩 알고리즘들을 유도력과 반발력의 균형으로 정의된 연속적인 스펙트럼 상에 위치시키는 통합 프레임워크를 제시한다. 강한 유도력은 다양체 구조의 유지에 기여하고, 강한 반발력은 군집 간 분리도 향상시키며, UMAP와 ForceAtlas2는 음성 샘플링 전략으로 인해 t-SNE보다 더 강한 유도력을 가지게 되어, 이는 t-SNE에 비해 더 높은 유도력 영역에 해당됨을 보여준다.

ABSTRACT

Neighbor embeddings are a family of methods for visualizing complex high-dimensional datasets using kNN graphs. To find the low-dimensional embedding, these algorithms combine an attractive force between neighboring pairs of points with a repulsive force between all points. One of the most popular examples of such algorithms is t-SNE. Here we empirically show that changing the balance between the attractive and the repulsive forces in t-SNE yields a spectrum of embeddings, which is characterized by a simple trade-off: stronger attraction can better represent continuous manifold structures, while stronger repulsion can better represent discrete cluster structures. We find that UMAP embeddings correspond to t-SNE with increased attraction; mathematical analysis shows that this is because the negative sampling optimisation strategy employed by UMAP strongly lowers the effective repulsion. Likewise, ForceAtlas2, commonly used for visualizing developmental single-cell transcriptomic data, yields embeddings corresponding to t-SNE with the attraction increased even more. At the extreme of this spectrum lies Laplacian Eigenmaps, corresponding to zero repulsion. Our results demonstrate that many prominent neighbor embedding algorithms can be placed onto this attraction-repulsion spectrum, and highlight the inherent trade-offs between them.

연구 동기 및 목표

• t-SNE, UMAP, ForceAtlas2와 같은 이웃 임베딩 알고리즘을 지배하는 기본적인 힘의 원리를 이해하는 것.
• 낮은 차원의 임베딩에서 연속적인 다양체 구조와 이산적인 군집 구조를 유지하는 데 간의 상충 관계를 규명하는 것.
• 유도력과 반발력의 균형에 기반한 이론적 프레임워크를 통해 다양한 이웃 임베딩 방법을 통합하는 것.
• 유사한 목표를 가진 것으로 보이지만 t-SNE와는 다른 시각적 결과를 보이는 UMAP와 ForceAtlas2가 왜 다른지 설명하는 것.

제안 방법

• 저자들은 최적화 목표에서 유도력과 반발력의 균형을 변화시켜 t-SNE의 힘 역학을 분석한다.
• 다양한 힘의 균형에서 유도된 임베딩을 경험적으로 평가하여 다양체 및 군집 구조 유지 성능을 평가한다.
• 음성 샘플링 전략에 초점을 맞춰 UMAP와 ForceAtlas2를 t-SNE와 비교 분석한다.
• 수학적으로 UMAP의 음성 샘플링 전략이 효과적인 반발력을 감소시켜, 이는 스펙트럼 상의 높은 유도력 영역에 해당됨을 보여준다.
• 라플라시안 이그재팬즈는 이 스펙트럼 상에서 반발력이 0인 극한 경우로 식별된다.
• 이웃 관계를 kNN 그래프로 모델링하고, 임베딩 최적화를 위한 힘 기반 목표함수를 유도한다.

실험 결과

연구 질문

• RQ1 유도력과 반발력의 균형이 이웃 임베딩 알고리즘의 저차원 임베딩 품질에 어떻게 영향을 미치는가?
• RQ2 유사한 시각화 목표를 가진 UMAP와 ForceAtlas2가 t-SNE와 다른 시각적 결과를 보이는 이유는 무엇인가?
• RQ3 UMAP와 ForceAtlas2는 수정된 힘 균형을 가진 t-SNE의 변종으로 이해할 수 있는가?
• RQ4 UMAP에서의 음성 샘플링과 임베딩 공간 내 효과적인 반발력 수준 사이의 이론적 관계는 무엇인가?
• RQ5 라플라시안 이그재팬즈와 기타 전통적 방법들은 이웃 임베딩의 유도-반발 스펙트럼 내 어디에 위치하는가?

주요 결과

• t-SNE에서 유도력을 증가시키면 임베딩 공간 내 연속적인 다양체 구조 유지가 향상된다.
• 반발력을 증가시키면 이산적인 군집 구조의 분리도 향상된다.
• UMAP 임베딩는 음성 샘플링 전략으로 인해 효과적인 반발력이 감소하여, t-SNE에 비해 훨씬 강한 유도력을 가지게 되어, 이는 t-SNE의 강한 유도력 영역에 해당된다.
• ForceAtlas2는 t-SNE에 비해 더욱 강한 유도력을 가지며, 이는 스펙트럼 상의 고유도력 영역에서 더 멀리 떨어져 있음을 의미한다.
• 라플라시안 이그재팬즈는 반발력이 0인 t-SNE의 극한 경우로, 유도력 전용 최적화의 극한을 나타낸다.
• 이웃 임베딩 알고리즘의 전체 가족은 유도력-반발력 균형으로 정의된 단일 프레임워크 내에서 통합될 수 있다.