[논문 리뷰] Small Transformers Compute Universal Metric Embeddings

Anastasis Kratsios, Valentin Debarnot외 1명|arXiv (Cornell University)|2022. 09. 14.

Medical Imaging and Analysis인용 수 5

한 줄 요약

이 논문은 깊이 ~n log n, 너비 ~n²인 소형 확률적 트랜스포머가 유일변량 가우시안 믹스처 공간으로의 운반 거리(metric)에서 임의의 유한 거리 공간에 대해 이중-홀더( bi-Hölder) 임bedding을 수행할 수 있음을 보여주며, 낮은 왜곡으로 구현한다. 또한 확률적 이중-립시츠 보장을 수립하고, 다변량 가우시안으로의 임베딩이 임의로 작은 왜곡을 달성할 수 있음을 보여준다.

ABSTRACT

We study representations of data from an arbitrary metric space $\mathcal{X}$ in the space of univariate Gaussian mixtures with a transport metric (Delon and Desolneux 2020). We derive embedding guarantees for feature maps implemented by small neural networks called \emph{probabilistic transformers}. Our guarantees are of memorization type: we prove that a probabilistic transformer of depth about $n\log(n)$ and width about $n^2$ can bi-Hölder embed any $n$-point dataset from $\mathcal{X}$ with low metric distortion, thus avoiding the curse of dimensionality. We further derive probabilistic bi-Lipschitz guarantees, which trade off the amount of distortion and the probability that a randomly chosen pair of points embeds with that distortion. If $\mathcal{X}$'s geometry is sufficiently regular, we obtain stronger, bi-Lipschitz guarantees for all points in the dataset. As applications, we derive neural embedding guarantees for datasets from Riemannian manifolds, metric trees, and certain types of combinatorial graphs. When instead embedding into multivariate Gaussian mixtures, we show that probabilistic transformers can compute bi-Hölder embeddings with arbitrarily small distortion.

연구 동기 및 목표

• 이론적 보장을 갖춘 신경망을 사용하여 임의의 거리 공간에 대한 보편적 표현 프레임워크를 개발한다.
• 실세계 데이터에서 복잡하고 비균일한 기하학적 구조를 표현하는 데 한계가 있는 유클리드 공간과 쌍곡 공간의 문제점을 해결한다.
• 일반적인 거리 공간에서 소형 신경망 아키텍처에 대해 이중-홀더 및 확률적 이중-립시츠 경계와 같은 임베딩 보장을 수립한다.
• 확률적 트랜스포머가 리만 다양체, 거리 트리, 조합적 그래프에서의 데이터를 제어 가능한 왜곡으로 임베딩할 수 있음을 보여준다.
• 소형 트랜스포머를 사용하여 다변량 가우시안 믹스처 공간에서 임베딩의 왜곡을 임의로 작게 만들 수 있음을 보여준다.

제안 방법

• 일반적인 거리 공간 $\mathcal{X}$ 에서 유일변량 가우시안 믹스처 공간으로의 특징 맵을 학습하기 위해 소형 확률적 트랜스포머—최근의 어텐션 메커니즘을 갖춘 소형 신경망—를 사용한다.
• 기하학적 충실도를 확보하기 위해 가우시안 믹스처 공간에 대한 워샤프트 운반 거리(metric)를 타겟 표현 공간으로 활용한다.
• 기억형 임베딩 보장을 유도: 깊이 $\sim n\log n$ 이고 너비 $\sim n^2$ 인 트랜스포머는 낮은 왜곡으로 임의의 $n$-포인트 거리 공간을 이중-홀더로 임베딩할 수 있다.
• 왜곡 수준과 그 수준을 달성할 확률 간의 트레이드오프를 고려한 확률적 이중-립시츠 보장을 도입한다.
• 메트릭 임베딩 이론의 결과, 특히 Linial 등 (2002) 및 Naor 등 (2006)의 마르코프 유형과 왜곡 하한 경계를 활용하여 임베딩의 가능성을 분석한다.
• 워샤프트 공간으로의 적절한 임베딩을 보장하기 위해 알고리즘적으로 바이어스 항을 구성함으로써 단사성과 왜곡 제어가 가능한 사상 구현.

실험 결과

연구 질문

• RQ1 소형 확률적 트랜스포머는 임의의 유한 거리 공간에 대해 낮은 왜곡으로 보편적인 메트릭 임베딩을 수행할 수 있는가?
• RQ2 어떤 $n$-포인트 데이터셋에 대해 깊이와 너비가 얼마나 되야 메트릭 공간 내의 이중-홀더 임베딩을 달성할 수 있는가?
• RQ3 왜곡과 임베딩 성공 확률 간의 균형을 맞추기 위해 확률적 이중-립시츠 보장을 어떻게 도출할 수 있는가?
• RQ4 소형 트랜스포머를 사용하여 다변량 가우시안 믹스처로의 임베딩이 임의로 작은 왜곡을 달성할 수 있는가?
• RQ5 이 프레임워크를 사용하여 계층적 또는 리만 기하학적 데이터의 임베딩 이론적 한계는 무엇인가?

주요 결과

• 깊이 $\sim n\log n$ 이고 너비 $\sim n^2$ 인 확률적 트랜스포머는 낮은 왜곡으로 임의의 $n$-포인트 거리 공간을 이중-홀더로 임베딩할 수 있으며, 차원의 저주를 피한다.
• 확률적 이중-립시츠 보장이 확립되었다: 임의의 왜곡 수준 $D$ 에 대해, 임의의 점 쌍이 왜곡이 $D$ 이하로 임베딩될 확률 $p(D)$ 가 존재한다.
• 기본 거리 공간 $\mathcal{X}$ 가 충분히 규칙적인 기하학적 성질을 갖는 경우(예: 음의 곡률이 고정된 리만 다양체), 모든 점에 대해 더 강력한 균일한 이중-립시츠 보장이 성립한다.
• 소형 트랜스포머를 통한 다변량 가우시안 믹스처로의 임베딩은 임의로 작은 왜곡을 달성할 수 있으며, 이 표현 공간의 높은 표현력이 확인된다.
• 이 프레임워크는 리만 다양체, 거리 트리, 조합적 그래프에서의 데이터를 이론적 왜곡 경계와 함께 보편적으로 임베딩할 수 있다.
• 메트릭 임베딩 이론의 이론적 결과—특히 마르코프 유형과 왜곡 하한 경계—는 이러한 임베딩이 왜곡 스케일링 측면에서 최적임을 확인한다.