[논문 리뷰] How to Fake Multiply by a Gaussian Matrix

Michael Kapralov, Vamsi K. Potluru외 1명|arXiv (Cornell University)|2016. 06. 18.

Face and Expression Recognition참고 문헌 25인용 수 4

한 줄 요약

이 논문은 조밀한 가우시안 행렬 곱셈을 효율적으로 모방하는 랜덤화된 행렬 변환인 CountGauss를 소개한다. CountSketch 행렬과 가우시안 행렬을 조합함으로써, 총 변동 거리가 임의로 0에 가까워지는 $O(\mathrm{nnz}(X)) + \tilde{O}(m^2 d^3)$ 시간 계산이 가능해지며, 이는 NMF와 SVM과 같은 응용 분야에서 이론적 보장을 위해 가우시안 투영이 필수적인 데 적합하다.

ABSTRACT

Have you ever wanted to multiply an $n imes d$ matrix $X$, with $n \gg d$, on the left by an $m imes n$ matrix $ ilde G$ of i.i.d. Gaussian random variables, but could not afford to do it because it was too slow? In this work we propose a new randomized $m imes n$ matrix $T$, for which one can compute $T \cdot X$ in only $O( ext{nnz}(X)) + ilde O(m^2 \cdot d^{3})$ time, for which the total variation distance between the distributions $T \cdot X$ and $ ilde G \cdot X$ is as small as desired, i.e., less than any positive constant. Here $ ext{nnz}(X)$ denotes the number of non-zero entries of $X$. Assuming $ ext{nnz}(X) \gg m^2 \cdot d^{3}$, this is a significant savings over the naïve $O( ext{nnz}(X) m)$ time to compute $ ilde G \cdot X$. Moreover, since the total variation distance is small, we can provably use $T \cdot X$ in place of $ ilde G \cdot X$ in any application and have the same guarantees as if we were using $ ilde G \cdot X$, up to a small positive constant in error probability. We apply this transform to nonnegative matrix factorization (NMF) and support vector machines (SVM).

연구 동기 및 목표

• 고차원 데이터 응용 분야에서 크고 조밀한 가우시안 행렬로 곱하는 데 드는 계산 비효율성을 해결하기 위해.
• 계산 시간을 크게 줄이면서도 가우시안 행렬 곱셈의 통계적 성질을 모방하는 변환을 개발하기 위해.
• 비음수 행렬 분해(NMF)와 서포트 벡터 머신(SVM)과 같은 머신러닝 워크로드에서 가우시안 유사 투영의 실용적 사용을 가능하게 하기 위해.
• 기존의 빠른 변환(예: CountSketch, 빠른 하다르드 변환)이 회전 대칭성을 유지하거나 희소 벡터를 효과적으로 퍼뜨리지 못하는 한계를 극복하기 위해.

제안 방법

• CountSketch 행렬 $S$와 가우시안 행렬 $G$의 곱으로 구성된 CountGauss를 제안하며, 즉 $T = G \cdot S$이다.
• 입력 차원을 $n$에서 $B$로 줄이기 위해 $B = \tilde{O}(d^2 m)$ 행을 갖는 CountSketch 행렬 $S$를 사용하여 $S \cdot X$ 계산을 $O(\mathrm{nnz}(X))$ 시간 내에 빠르게 수행할 수 있도록 한다.
• $G \cdot (S \cdot X)$를 $\tilde{O}(m^2 d^3)$ 시간 내에 계산하며, 이는 $G$가 $m \times B$이고 $S \cdot X$가 $B \times d$이기 때문이다.
• $T \cdot X = G \cdot S \cdot X$의 분포가 $\tilde{G} \cdot X$의 분포와 통계적으로 유사하다는 것을 증명하며, 총 변동 거리가 어떤 양수보다도 작다.
• 스펙트럼 및 농도 경계를 활용하여 $\|E\|_2$가 작다는 것을 보이며, 여기서 $E = V^T R R^T V - V^T V$ 이다. 이는 투영된 공간에서 왜곡이 낮다는 것을 보장한다.
• NMF와 SVM에 이 변환을 적용하여, 이론적 보장을 유지하면서도 런타임을 크게 향상시켰다.

실험 결과

연구 질문

• RQ1 조밀한 가우시안 행렬 곱셈을 통계적으로 모방할 수 있는 빠른 행렬 변환을 구성할 수 있는가?
• RQ2 CountSketch와 가우시안 행렬의 조합이 NMF와 SVM과 같은 응용 분야에서 요구하는 분포 성질을 유지하는가?
• RQ3 기존의 표준 가우시안 투영에 비해 이 변환은 낮은 계산 비용과 높은 통계적 정밀도를 동시에 달성할 수 있는가?
• RQ4 NMF와 SVM에서 CountGauss의 성능은 CountSketch와 랜덤 가우시안 투영과 비교해 정확도와 속도 측면에서 어떻게 다른가?

주요 결과

• 제안된 CountGauss 변환은 $T \cdot X$를 $O(\mathrm{nnz}(X)) + \tilde{O}(m^2 d^3)$ 시간 내에 계산하며, $\mathrm{nnz}(X) \gg m^2 d^3$일 경우 조밀한 가우시안 곱셈의 난이도인 $O(\mathrm{nnz}(X) \cdot m)$ 시간보다 훨씬 빠르다.
• $T \cdot X$와 $\tilde{G} \cdot X$ 사이의 총 변동 거리는 어떤 양수보다도 작으며, 이는 $T \cdot X$가 $\tilde{G} \cdot X$와 교체 가능함을 보장하며 성공 확률에 대한 오차는 작고 유계임을 의미한다.
• 비음수 행렬 분해(NMF)에서는 노이즈가 있는 환경에서도 전체 가우시안 투영과 비교해 유사한 앵커 복구 성능을 달성한다.
• 서포트 벡터 머신(SVM)에서는 투영 시간이 약간 증가하지만, CountSketch와 표준 랜덤 가우시안 투영보다 빠른 학습 시간을 제공한다.
• 실제 데이터(예: 유방암 데이터셋)에 대한 실험 결과, CountGauss는 가우시안 투영 방법에서 발견된 생물학적으로 관련 있는 활성 패턴을 유사하게 복구한다.
• 이론적 분석을 통해 근사 오차가 $\|E\|_2$로 유계임을 확인하였으며, 이는 임의로 작게 만들 수 있어 투영된 문제의 최적 목표 값이 원래 문제의 값과 일정 인자 범위 내에 있음을 보장한다.