[論文レビュー] Small Transformers Compute Universal Metric Embeddings

Anastasis Kratsios, Valentin Debarnot+1 more|arXiv (Cornell University)|Sep 14, 2022

Medical Imaging and Analysis被引用数 5

ひとこと要約

この論文は、深さ ~n log n、幅 ~n² の小さな確率的トランスフォーマーが、輸送距離に基づく距離空間において、任意の有限距離空間を一変量のガウス・ミクスチャ空間へ、低歪みで双ヒルバート埋め込み可能であることを示している。さらに、確率的双リプシッツ保証を確立し、多変量ガウス分布への埋め込みが任意に小さい歪みで達成可能であることを示している。

ABSTRACT

We study representations of data from an arbitrary metric space $\mathcal{X}$ in the space of univariate Gaussian mixtures with a transport metric (Delon and Desolneux 2020). We derive embedding guarantees for feature maps implemented by small neural networks called \emph{probabilistic transformers}. Our guarantees are of memorization type: we prove that a probabilistic transformer of depth about $n\log(n)$ and width about $n^2$ can bi-Hölder embed any $n$-point dataset from $\mathcal{X}$ with low metric distortion, thus avoiding the curse of dimensionality. We further derive probabilistic bi-Lipschitz guarantees, which trade off the amount of distortion and the probability that a randomly chosen pair of points embeds with that distortion. If $\mathcal{X}$'s geometry is sufficiently regular, we obtain stronger, bi-Lipschitz guarantees for all points in the dataset. As applications, we derive neural embedding guarantees for datasets from Riemannian manifolds, metric trees, and certain types of combinatorial graphs. When instead embedding into multivariate Gaussian mixtures, we show that probabilistic transformers can compute bi-Hölder embeddings with arbitrarily small distortion.

研究の動機と目的

• 任意の距離空間に対して理論的保証を伴うニューラルネットワークを用いて普遍的な表現フレームワークを構築すること。
• 現実世界のデータに見られる複雑で非一様な幾何構造を表現する際の、ユークリッド空間および双曲空間の限界を克服すること。
• 一般の距離空間における小さなニューラルアーキテクチャに対して、特に双ヒルバートおよび確率的双リプシッツ境界を含む埋め込み保証を確立すること。
• 確率的トランスフォーマーが、リーマン多様体、距離木、組合せ的グラフからのデータを、制御された歪みで埋め込むことができるかどうかを示すこと。
• 多変量ガウス・ミクスチャ空間を用いることで、小さなトランスフォーマーが距離埋め込みにおいて任意に小さい歪みを達成できることを示すこと。

提案手法

• 一般の距離空間 $\mathcal{X}$ から一変量ガウス・ミクスチャ空間への特徴マップを学習するため、確率的トランスフォーマー（近年の注意機構を備えた小さなニューラルネットワーク）を用いる。
• 幾何的忠実性を保証するために、ガウス・ミクスチャ空間に Wasserstein 輸送距離をターゲット表現空間として採用する。
• 記憶型埋め込み保証を導出：深さ $\sim n\log n$、幅 $\sim n^2$ のトランスフォーマーは、任意の $n$ 点距離空間を低歪みで双ヒルバート埋め込み可能である。
• 歪みレベルとその達成確率のトレードオフをとる、確率的双リプシッツ保証を導入する。
• Linial et al. (2002) や Naor et al. (2006) が示した、メトリック埋め込み理論からの結果（マークフ型および歪み下限）を応用し、埋め込みの可能性を分析する。
• Wasserstein空間への適切な埋め込みを保証するため、偏り項をアルゴリズム的に構築し、単射的かつ歪み制御可能な写像を可能にする。

実験結果

リサーチクエスチョン

• RQ1 小さな確率的トランスフォーマーは、任意の有限距離空間に対して低歪みで普遍的な距離埋め込みを計算可能か？
• RQ2 距離空間内の $n$ 点データセットに対して、双ヒルバート埋め込みを達成するためのトランスフォーマーの必要となるアーキテクチャの深さと幅は何か？
• RQ3 歪みと埋め込み成功確率のバランスを取るため、確率的双リプシッツ保証をどのように導出できるか？
• RQ4 多変量ガウス・ミクスチャへの埋め込みは、小さなトランスフォーマーを用いて任意に小さい歪みを達成可能か？
• RQ5 このフレームワークを用いた場合、階層的またはリーマン幾何的構造を持つデータの埋め込みにおける理論的限界は何か？

主な発見

• 深さ $\sim n\log n$、幅 $\sim n^2$ の確率的トランスフォーマーは、任意の $n$ 点距離空間を低歪みで双ヒルバート埋め込み可能であり、次元の呪いを回避する。
• 確率的双リプシッツ保証が確立された：任意の歪みレベル $D$ に対して、ランダムな点対が歪み $D$ 以内に埋め込まれる確率 $p(D)$ が存在する。
• 元の距離空間 $\mathcal{X}$ が十分に滑らかな幾何構造（例：負の曲率がピンチされたリーマン多様体）を持つ場合、すべての点に対してより強い一様双リプシッツ保証が成り立つ。
• 小さなトランスフォーマーを用いた多変量ガウス・ミクスチャへの埋め込みは、任意に小さい歪みを達成可能であり、この表現空間の高い表現力が示された。
• このフレームワークにより、リーマン多様体、距離木、組合せ的グラフからのデータを、理論的歪み境界を伴って普遍的に埋め込むことが可能である。
• メトリック埋め込み理論からの理論的結果（特にマークフ型および歪み下限）により、このような埋め込みが歪みスケーリングの観点で最適であることが確認された。