[논문 리뷰] Sketches for Matrix Norms: Faster, Smaller and More General.

Vladimir Braverman, Stephen R. Chestnut외 2명|arXiv (Cornell University)|2016. 09. 19.

Stochastic Gradient Optimization Techniques인용 수 3

한 줄 요약

이 논문은 최신 Johnson-Lindenstrauss 기반 차원 축소 기법을 사용하여 유니터리 불변 행렬 노름(예: Schatten $p$-노름 포함)에 대해 더 빠르고 작으며 더 일반적인 스케칭 알고리즘을 제안한다. $p \to 2$에 대해 최적의 공간 복잡도를 달성하고, 내재 차원 인식 임bedding을 통해 비선형 스케칭 크기를 확보함으로써 $O(1)$ 업데이트 시간과 향상된 쿼리 성능을 갖는 효율적인 스트리밍 근사가 가능해진다.

ABSTRACT

We design new sketching algorithms for unitarily invariant matrix norms, including the Schatten $p$-norms~$\|{\cdot}\|_{S_p}$, and obtain, as a by-product, streaming algorithms that approximate the norm of a matrix $A$ presented as a turnstile data stream. The primary advantage of our streaming algorithms is that they are simpler and faster than previous algorithms, while requiring the same or less storage. Our three main results are a faster sketch for estimating $\|{A}\|_{S_p}$, a smaller-space $O(1)$-pass sketch for $\|{A}\|_{S_p}$, and more general sketching technique that yields sublinear-space approximations for a wide class of matrix norms. These improvements are powered by dimensionality reduction techniques that are modern incarnations of the Johnson-Lindenstrauss Lemma~\cite{JL84}. When $p\geq 2$ is even or $A$ is PSD, our fast one-pass algorithm approximates $\|{A}\|_{S_p}$ in optimal, $n^{2-4/p}$, space with $O(1)$ update time and $o(n^{2.4(1-2/p)})$ time to extract the approximation from the sketch, while the $\lceil p/2 ceil$-pass algorithm is built on a smaller sketch of size $n^{1-1/(p-1)}$ with $O(1)$ update time and $n^{1-1/(p-1)}$ query time. Finally, for a PSD matrix $A$ and a unitarily invariant norm $l(\cdot)$, we prove that one can obtain an approximation to $l(A)$ from a sketch $GAH^T$ where $G$ and $H$ are independent Oblivious Subspace Embeddings and the dimension of the sketch is polynomial in the intrinsic dimension of $A$. The intrinsic dimension of a matrix is a robust version of the rank that is equal to the ratio $\sum_i\sigma_i/\sigma_1$. It is small, e.g., for models in machine learning which consist of a low rank matrix plus noise. Naturally, this leads to much smaller sketches for many norms.

연구 동기 및 목표

• Schatten $p$-노름과 같은 유니터리 불변 행렬 노름을 근사하는 더 단순하고 빠른 스트리밍 알고리즘 설계.
• 시간 효율성을 유지하거나 향상시키면서 $O(1)$-패ass 및 다중패스 스트리밍 환경에서 공간 사용량을 줄이는 것.
• 내재 차원을 복잡도 매개변수로 삼아 $p$-노름을 초월한 광범위한 행렬 노름 클래스로 스케칭 기법을 일반화하는 것.
• 차원 축소를 통해 $p \geq 2$ 이외의 경우나 양의 준정부호 행렬에 대해 최적의 공간 복잡도를 달성하는 것.
• 스케칭 크기를 매트릭스 랭크가 아닌 내재 차원의 다항식으로 줄일 수 있음을 보여주어, 저랭크+노이즈 모델에서 더 작은 스케칭이 가능하도록 하는 것.

제안 방법

• 행렬 스케칭에서 차원 축소를 위한 최신 버전의 Johnson-Lindenstrauss 보조정리를 활용한다.
• 독립적인 $G$와 $H$를 갖는 $GAH^T$ 형태의 스케칭을 구성하기 위해 무작위 부분공간 임베딩(Oblivious Subspace Embeddings, OSES)을 사용한다.
• 행렬의 내재 차원—정의상 $\sum_i \sigma_i / \sigma_1$—을 복잡도 측정치로 삼아 스케칭 크기를 제한한다.
• 한 번의 패ass 알고리즘을 설계하여 $p \geq 2$가 짝수거나 $A$가 양의 준정부호일 경우 $\|A\|_{S_p}$에 대해 $O(1)$ 업데이트 시간과 $o(n^{2.4(1-2/p)})$ 쿼리 시간을 확보한다.
• $\lceil p/2 \rceil$-패스 알고리즘을 개발하여 스케칭 크기를 $n^{1-1/(p-1)}$으로 하고, 업데이트/쿼리 시간을 $O(1)$으로 유지한다.
• 양의 준정부호 행렬에 대해 임의의 유니터리 불변 노름 $l(A)$를 근사하기 위해 스케칭 $GAH^T$를 적용하며, 스케칭 차원은 $A$의 내재 차원에 다항식으로 의존한다.

실험 결과

연구 질문

• RQ1 스트리밍 환경에서 $\|A\|_{S_p}$에 대해 $O(1)$ 업데이트 시간을 갖는 조건에서 최적의 공간 복잡도를 달성할 수 있는가?
• RQ2 $\|A\|_{S_p}$의 정확도를 유지하면서 스케칭 크기를 $n^{1-1/(p-1)}$ 이하로 줄일 수 있는가?
• RQ3 Schatten $p$-노름을 초월해 더 넓은 범위의 유니터리 불변 행렬 노름 클래스로 스케칭을 일반화할 수 있는가?
• RQ4 기존의 랭크보다 내재 차원이 스케칭 크기의 더 탄탄하고 효과적인 상한을 제공하는가?
• RQ5 OSE 기반 스케칭을 통해 행렬 노름의 비선형 공간 복잡도 근사를 달성할 수 있는가?

주요 결과

• 한 번의 패스 알고리즘은 $p \geq 2$가 짝수거나 $A$가 양의 준정부호일 경우 $n^{2-4/p}$ 공간에서 $\|A\|_{S_p}$를 근사하며, $O(1)$ 업데이트 시간과 $o(n^{2.4(1-2/p)})$ 쿼리 시간을 확보한다.
• $\lceil p/2 \rceil$-패스 알고리즘은 스케칭 크기를 $n^{1-1/(p-1)}$으로 사용하며, 업데이트 및 쿼리 시간 모두 $O(1)$이다.
• 양의 준정부호 행렬과 임의의 유니터리 불변 노름 $l(\cdot)$에 대해 스케칭 $GAH^T$는 $A$의 내재 차원에 다항식으로 의존하는 차원을 갖는 $l(A)$의 근사를 제공한다.
• 내재 차원 $\sum_i \sigma_i / \sigma_1$는 특히 저랭크+노이즈 모델에서 스케칭 크기를 제어하는 데 있어 강력하고 효과적인 측정치로 입증되었다.
• 제안된 스케칭 프레임워크는 $p \geq 2$가 짝수일 경우 $\|A\|_{S_p}$에 대해 최적의 공간 복잡도를 달성하며, 기존 알려진 하한값과 일치한다.
• 이 방법은 $p$-노름을 초월하여 내재 차원 인식 임베딩을 통해 광범위한 행렬 노름 클래스에 대해 비선형 공간 복잡도 근사를 가능하게 한다.