[論文レビュー] A Unifying Perspective on Neighbor Embeddings along the Attraction-Repulsion Spectrum

Niklas Böhm, Philipp Berens+1 more|arXiv (Cornell University)|May 4, 2021

Single-cell and spatial transcriptomics参考文献 49被引用数 26

ひとこと要約

本論文は、t-SNE、UMAP、ForceAtlas2、ラプラシアン固有ベクトル法といった近隣埋め込みアルゴリズムを、引力と斥力のバランスによって定義される連続的スペクトル上に位置付ける包括的フレームワークを提示する。強い引力は多様体構造の保存を向上させ、強い斥力はクラスタ分離を向上させることを示しており、UMAPとForceAtlas2は負例サンプリング戦略のおかげで、引力を強めたt-SNEに対応することが示された。

ABSTRACT

Neighbor embeddings are a family of methods for visualizing complex high-dimensional datasets using kNN graphs. To find the low-dimensional embedding, these algorithms combine an attractive force between neighboring pairs of points with a repulsive force between all points. One of the most popular examples of such algorithms is t-SNE. Here we empirically show that changing the balance between the attractive and the repulsive forces in t-SNE yields a spectrum of embeddings, which is characterized by a simple trade-off: stronger attraction can better represent continuous manifold structures, while stronger repulsion can better represent discrete cluster structures. We find that UMAP embeddings correspond to t-SNE with increased attraction; mathematical analysis shows that this is because the negative sampling optimisation strategy employed by UMAP strongly lowers the effective repulsion. Likewise, ForceAtlas2, commonly used for visualizing developmental single-cell transcriptomic data, yields embeddings corresponding to t-SNE with the attraction increased even more. At the extreme of this spectrum lies Laplacian Eigenmaps, corresponding to zero repulsion. Our results demonstrate that many prominent neighbor embedding algorithms can be placed onto this attraction-repulsion spectrum, and highlight the inherent trade-offs between them.

研究の動機と目的

• t-SNE、UMAP、ForceAtlas2のような近隣埋め込みアルゴリズムを支配する基本的力の理解を図ること。
• 低次元埋め込みにおける連続的多様体構造と離散的クラスタ構造の保存のトレードオフを特定すること。
• 力のバランスに基づく理論的枠組みを用いて、多様な近隣埋め込み手法を統一すること。
• 同じ目的を持つにもかかわらず、UMAPとForceAtlas2がt-SNEとは異なる可視化を生み出す理由を説明すること。

提案手法

• 著者らは、最適化目的関数における引力と斥力のバランスを変化させることで、t-SNEにおける力のダイナミクスを分析した。
• 彼らは、多様体構造とクラスタ構造の保存の両面で、異なる力のバランスにおける埋め込みの性能を実験的に評価した。
• 特に負例サンプリング戦略に注目して、UMAPとForceAtlas2をt-SNEと比較した。
• 彼らは数学的に、UMAPにおける負例サンプリングが有効な斥力を低下させ、結果としてスペクトルの高引力側に位置することを示した。
• 彼らは、ラプラシアン固有ベクトル法がこのスペクトルにおける斥力ゼロの極限ケースであることを特定した。
• 彼らはkNNグラフを用いて近隣関係をモデル化し、埋め込み最適化のための力に基づく目的関数を導出した。

実験結果

リサーチクエスチョン

• RQ1 近隣埋め込みアルゴリズムにおける引力と斥力のバランスが、低次元埋め込みの質にどのように影響するか？
• RQ2 同じ可視化目的を持つにもかかわらず、UMAPとForceAtlas2がt-SNEとは異なる可視化を生み出す理由は何か？
• RQ3 UMAPとForceAtlas2は、修正された力のバランスを持つt-SNEの変種と見なせるか？
• RQ4 UMAPにおける負例サンプリングと、埋め込み空間における有効な斥力レベルとの理論的関係は何か？
• RQ5 ラプラシアン固有ベクトル法やその他の古典的手法は、近隣埋め込みの引力-斥力スペクトルのどこに位置するか？

主な発見

• t-SNEにおける引力の増加は、埋め込み空間における連続的多様体構造の保存を向上させる。
• 斥力の増加は、離散的クラスタ構造の分離を向上させる。
• UMAPの埋め込みは、負例サンプリング戦略のおかげで有効な斥力が低下するため、引力が著しく強化されたt-SNEに対応する。
• ForceAtlas2は、さらに強い引力を持つt-SNEに対応し、スペクトルの高引力側のさらに先に位置する。
• ラプラシアン固有ベクトル法は、斥力がゼロのt-SNEの極限ケースであり、引力のみの最適化の極端な例である。
• 近隣埋め込みアルゴリズムの全般的なファミリーは、引力-斥力バランスによって定義される同一のフレームワークの下に統一できる。