[논문 리뷰] Tensorized Random Projections

Beheshteh T. Rakhshan, Guillaume Rabusseau|arXiv (Cornell University)|2020. 03. 11.

Tensor decomposition and applications참고 문헌 37인용 수 4

한 줄 요약

이 논문은 고차원 텐서의 차원을 효율적으로 감소시키면서 유클리드 거리를 유지하기 위해 텐서트레이스(TT) 및 CANDECOMP/PARAFAC(CP) 분해를 사용한 텐서라이즈드 랜덤 프로젝션 맵을 제안한다. Johnson-Lindenstrauss 프레임워크 내에서 랭크-구조 효율성이 뛰어난 데 기인해, 특히 고차원 텐서에 대해 TT 기반 방법이 CP 기반 프로젝션보다 임bedding 품질과 필요 프로젝션 크기 측면에서 뚜렷한 우월성을 보인다.

ABSTRACT

We introduce a novel random projection technique for efficiently reducing the dimension of very high-dimensional tensors. Building upon classical results on Gaussian random projections and Johnson-Lindenstrauss transforms~(JLT), we propose two tensorized random projection maps relying on the tensor train~(TT) and CP decomposition format, respectively. The two maps offer very low memory requirements and can be applied efficiently when the inputs are low rank tensors given in the CP or TT format. Our theoretical analysis shows that the dense Gaussian matrix in JLT can be replaced by a low-rank tensor implicitly represented in compressed form with random factors, while still approximately preserving the Euclidean distance of the projected inputs. In addition, our results reveal that the TT format is substantially superior to CP in terms of the size of the random projection needed to achieve the same distortion ratio. Experiments on synthetic data validate our theoretical analysis and demonstrate the superiority of the TT decomposition.

연구 동기 및 목표

• 표준 랜덤 프로젝션의 고차원 텐서에 대한 계산 및 메모리 비효율성 문제를 해결하기 위해.
• 텐서 분해 형식(TT 및 CP)을 활용하여 랜덤 프로젝션 행렬을 압축하면서도 거리 유지 성질을 유지하기 위해.
• 왜곡 및 복잡도 측면에서 TT 기반 vs. CP 기반 텐서라이즈드 프로젝션의 성능을 이론적·실험적으로 비교하기 위해.
• 저랭크 TT 또는 CP 형식으로 주어진 텐서에 대해 효율적인 차원 축소를 가능하게 하기 위해.

제안 방법

• 프로젝션 행렬의 행이 각각 TT 및 CP 형식으로 표현되는 두 가지 텐서라이즈드 랜덤 프로젝션 맵인 $ f_{\mathrm{TT}(R)} $ 및 $ f_{\mathrm{CP}(R)} $ 를 제안한다.
• 랜덤 프로젝션 행렬 $ \mathbf{A} \in \mathbb{R}^{k \times d^N} $ 을 랭크 매개변수 $ R $ 를 가진 TT 또는 CP 분해를 통해 저랭크 텐서로 표현하여 저장 및 계산 비용을 크게 감소시킨다.
• 입력 텐서를 TT 또는 CP 형식으로 제공받아 프로젝션을 수행하며, 계산 시간은 $ \mathcal{O}(kNd\max(R,\tilde{R})^3) $ 으로, 여기서 $ \tilde{R} $ 은 입력 텐서의 랭크이다.
• TT 및 CP 분해 내의 랜덤 요소를 사용하여 프로젝션 행렬을 암묵적으로 표현함으로써 전체 밀집 행렬을 명시적으로 저장하지 않도록 한다.
• 이론적 분석을 통해 두 맵이 프로젝션 차원 $ k $ 에 대한 특정 조건을 만족할 경우 Johnson-Lindenstrauss 성질을 만족함을 보였다.
• 다양한 순서와 크기를 가진 합성 텐서를 대상으로 왜곡 비율 및 임bedding 시간을 측정하여 성능을 실험적으로 평가하였다.

실험 결과

연구 질문

• RQ1 텐서 분해 형식(TT 및 CP)을 사용하여 고차원 텐서에 대한 랜덤 프로젝션 행렬을 효율적으로 표현할 수 있는가? 이 경우 거리 유지 성질은 손상되지 않는가?
• RQ2 TT 기반 vs. CP 기반 텐서라이즈드 프로젝션에 대해 프로젝션 차원 $ k $ 가 텐서 순서 $ N $ 과 랭크 $ R $ 에 따라 어떻게 변화하는가?
• RQ3 고차원 환경에서 랜덤 프로젝션을 텐서라이즈할 때 TT 형식이 CP 형식보다 더 효과적인가?
• RQ4 텐서라이즈드 랜덤 프로젝션에서 계산 효율성, 메모리 사용량, 임bedding 품질 간의 상호 상충 관계는 어떠한가?
• RQ5 텐서라이즈드 프로젝션은 고차원 데이터에 대해 훨씬 더 확장 가능함과 동시에 가우시안 랜덤 프로젝션과 유사한 성능를 달성할 수 있는가?

주요 결과

• TT 기반 텐서라이즈드 랜덤 프로젝션 $ f_{\mathrm{TT}(R)} $ 는 동일한 왜곡 비율을 달성하기 위해 $ f_{\mathrm{CP}(R)} $ 에 비해 훨씬 더 작은 프로젝션 차원 $ k $ 를 요구한다. 이는 텐서 순서 $ N $ 에 대한 지수적 의존성이 유리하기 때문이다.
• 특히 $ f_{\mathrm{TT}(R)} $ 는 $ k \gtrsim \varepsilon^{-2}(1+2/R)^N \log^{2N} m $ 으로, 반면 $ f_{\mathrm{CP}(R)} $ 는 $ k \gtrsim \varepsilon^{-2}3^{N-1}(1+2/R)\log^{2N} m $ 으로 스케일링되며, 이는 TT 형식이 상당한 이점이 있음을 보여준다.
• 실험 결과, $ f_{\mathrm{TT}(R)} $ 는 고차원 텐서(예: $ N=25 $)에 대해서도 가우시안 랜덤 프로젝션과 유사한 왜곡 비율을 달성하는 반면, $ f_{\mathrm{CP}(R)} $ 는 높은 $ R $ 과 $ k $ 에서조차 양호한 성능를 내지 못한다.
• TT 기반 방법은 매우 희소한 랜덤 프로젝션보다 일관되게 빠르며, 특히 입력 텐서가 TT 형식일 경우 텐서 순서에 따라 효율적으로 스케일링된다.
• 입력 텐서가 CP 형식일 경우 $ f_{\mathrm{CP}(R)} $ 는 $ f_{\mathrm{TT}(R)} $ 보다 빠르지만, 왜곡 성능이 열 劣하여 실용적 유용성이 제한된다.
• 이론적 및 실험적 결과는 CP 형식이 고차원 설정에서 랜덤 프로젝션을 텐서라이즈하는 데 적합하지 않음을 확인하였으며, 이는 $ N $ 에 대해 지수적 스케일링이 발생하기 때문이다.