[논문 리뷰] Tensor Random Projection for Low Memory Dimension Reduction

Yiming Sun, Yang Guo외 2명|arXiv (Cornell University)|2021. 04. 30.

Tensor decomposition and applications참고 문헌 25인용 수 16

한 줄 요약

이 논문은 텐서 곱을 이용해 더 작은 무작위 투영의 카르테시안 곱을 구성함으로써 희소하고 메모리 효율적인 무작위 투영 맵을 만드는 저메모리 차원 감소 방법인 텐서 무작위 투영(TRP)을 소개한다. TRP는 메모리 사용이 크게 감소함에 따라 기존 방법과 유사한 정확도를 달성하며, $N$개의 구성 맵에 대해 $\sqrt[N]{d}$ 비율로 확장되며, 이sovmetry 품질을 향상시키면서도 계산 비용을 낮게 유지하는 분산 감소 버전을 포함한다.

ABSTRACT

Random projections reduce the dimension of a set of vectors while preserving structural information, such as distances between vectors in the set. This paper proposes a novel use of row-product random matrices in random projection, where we call it Tensor Random Projection (TRP). It requires substantially less memory than existing dimension reduction maps. The TRP map is formed as the Khatri-Rao product of several smaller random projections, and is compatible with any base random projection including sparse maps, which enable dimension reduction with very low query cost and no floating point operations. We also develop a reduced variance extension. We provide a theoretical analysis of the bias and variance of the TRP, and a non-asymptotic error analysis for a TRP composed of two smaller maps. Experiments on both synthetic and MNIST data show that our method performs as well as conventional methods with substantially less storage.

연구 동기 및 목표

• 고차원 데이터를 다룰 때 기존의 무작위 투영 맵이 가지는 높은 저장 비용을 해결하기 위해.
• 대규모 응용 프로그램을 위한 저메모리이자 계산 비용이 낮은 차원 감소 방법을 개발하기 위해.
• 저장 공간과 쿼리 비용이 핵심이 되는 대규모 데이터베이스 및 텐서 데이터 처리 환경에서 효율적인 무작위 투영을 가능하게 하기 위해.
• 제안된 TRP 프레임워크의 이sovmetry 오차와 분산에 대한 이론적 보장을 제공하기 위해.
• TRP가 가우시안 무작위 투영과 유사한 성능을 보이며 상당히 낮은 메모리 사용량을 유지함을 입증하기 위해.

제안 방법

• TRP는 $N$개의 더 작은 무작위 투영 행렬, 각각 크기가 $d_n \times k$인 행렬들의 카르테시안 곱을 통해 차원 감소 맵을 구성한다.
• 결과 맵 $\mathbf{A} = \mathbf{A}_1 \odot \cdots \odot \mathbf{A}_N$는 $d$차원 벡터에 작용하며, 여기서 $d = \prod_{n=1}^N d_n$이다.
• 이 방법은 희소 기반 투영을 지원하여 낮은 쿼리 비용을 제공하고, 적용 시 부동소수점 연산이 필요 없다.
• 분산 감소 버전의 TRP가 도입되어 범위 차원과 이sovmetry 품질을 독립적으로 제어할 수 있다.
• 이론적 분석에는 두 개의 맵으로 구성된 TRP에 대한 비점근 오차 한계와 이sovmetry 오차의 분산 분해가 포함된다.
• 스펙트럼 및 기하학적 안정성을 확립하기 위해 루델슨(Rudelson, 2008)의 행렬 곱 무작위 행렬 결과를 활용한다.

실험 결과

연구 질문

• RQ1 더 작은 무작위 투영의 카르테시안 곱을 사용해 저메모리이고 효과적인 차원 감소 맵을 구성할 수 있는가?
• RQ2 표준 무작위 투영과 비교했을 때 TRP의 메모리 사용은 구성 맵의 수에 따라 어떻게 변화하는가?
• RQ3 두 개의 더 작은 맵으로 구성된 TRP의 이론적 오차 한계는 무엇인가?
• RQ4 분산 감소 버전의 TRP는 저장 공간이나 쿼리 비용을 증가시키지 않고도 이sovmetry 품질을 향상시킬 수 있는가?
• RQ5 TRP는 MNIST와 같은 합성 및 실세계 데이터에서 가우시안 무작위 투영 및 표준 무작위 투영과 비교해 실제로 어떻게 성능을 발휘하는가?

주요 결과

• TRP는 합성 데이터와 MNIST 데이터에서 가우시안 무작위 투영과 유사한 성능을 보이며, 상당히 낮은 메모리 사용량을 유지한다.
• TRP의 메모리 사용은 $N$이 구성 맵의 수일 때 $\sqrt[N]{d}$ 비율로 증가하며, 이는 고차원 데이터에서 상당한 절감을 가능하게 한다.
• 분산 감소 버전의 TRP는 표준 TRP와 가우시안 RP를 항상 능가하며, 특히 텐서 순서 $N$이 증가할수록 성능 향상이 두드러진다.
• 4차원 텐서($100^4$)의 경우, $k=25$로 TRP를 적용했을 때 상대 오차가 95% 신뢰구간 내에서 표준 방법보다 유의미하게 낮다.
• 이론적 분석은 TRP가 조정 가능한 정확도를 가진 근사 이sovmetry임을 확인하며, 분산은 $k$가 증가함에 따라 감소함을 보여준다.
• 실험 결과는 TRP가 낮은 쿼리 비용을 유지하고 있으며, 희소하고 적용이 빠른 기반 투영과 호환됨을 보여준다.