[논문 리뷰] Optimal approximate matrix product in terms of stable rank

Michael B. Cohen, Jelani Nelson외 1명|arXiv (Cornell University)|2015. 07. 08.

Sparse and Compressive Sensing Techniques참고 문헌 29인용 수 64

한 줄 요약

이 논문은 입력 행렬의 안정적 랭크(프로베니우스 노름과 오퍼레이터 노름의 제곱 비율)인 $\tilde{r}$를 기반으로 하여, 스펙트럴 오차를 갖는 행렬 곱셈의 근사치를 달성하기 위해 무작위이자 데이터 무관인 차원 축소 맵 $\Pi$를 사용할 수 있음을 입증한다. 이 맵은 $m = O(\tilde{r}/\varepsilon^2)$개의 행을 가진다. 주요 기여는 임의의 무관한 부분공간 매핑(OSE) 분포가 차원 $2\tilde{r}$에서 모멘트 방법 조건을 만족한다면, 그 분포가 스펙트럴 오차를 갖는 AMM에 충분함을 보여주는 것이다. 이는 이전 결과를 서브가우시안 스케치를 넘어서 빠르고 희소인 매핑까지 일반화한다.

ABSTRACT

We prove, using the subspace embedding guarantee in a black box way, that one can achieve the spectral norm guarantee for approximate matrix multiplication with a dimensionality-reducing map having $m = O( ilde{r}/\varepsilon^2)$ rows. Here $ ilde{r}$ is the maximum stable rank, i.e. squared ratio of Frobenius and operator norms, of the two matrices being multiplied. This is a quantitative improvement over previous work of [MZ11, KVZ14], and is also optimal for any oblivious dimensionality-reducing map. Furthermore, due to the black box reliance on the subspace embedding property in our proofs, our theorem can be applied to a much more general class of sketching matrices than what was known before, in addition to achieving better bounds. For example, one can apply our theorem to efficient subspace embeddings such as the Subsampled Randomized Hadamard Transform or sparse subspace embeddings, or even with subspace embedding constructions that may be developed in the future. Our main theorem, via connections with spectral error matrix multiplication shown in prior work, implies quantitative improvements for approximate least squares regression and low rank approximation. Our main result has also already been applied to improve dimensionality reduction guarantees for $k$-means clustering [CEMMP14], and implies new results for nonparametric regression [YPW15]. We also separately point out that the proof of the "BSS" deterministic row-sampling result of [BSS12] can be modified to show that for any matrices $A, B$ of stable rank at most $ ilde{r}$, one can achieve the spectral norm guarantee for approximate matrix multiplication of $A^T B$ by deterministically sampling $O( ilde{r}/\varepsilon^2)$ rows that can be found in polynomial time. The original result of [BSS12] was for rank instead of stable rank. Our observation leads to a stronger version of a main theorem of [KMST10].

연구 동기 및 목표

• 스펙트럴 오차를 동반한 근사 행렬 곱셈에 대한 최적의 차원 축소에서 랭크가 아닌 안정적 랭크가 결정적인지를 규명하는 것.
• 행렬 곱셈 $A^T B$ 근사에서 스펙트럴 노름 오차를 보장하는 무작위 및 결정적 차원 축소 맵 $\Pi$의 클래스를 규명하는 것.
• 이전의 스케칭 행렬 결과(예: 서브가우시안, 희소, 빠른 존슨-린든스트라우스)를 랭크 기반 한계에서 안정적 랭크 기반 한계로 통합 및 일반화하는 것.
• 특히 모멘트 기반 분석에 의존하는 스케칭 방법의 분석이 자동으로 AMM에 대한 안정적 랭크 보장을 제공함을 보여주는 것.
• 비제로 요소가 $O(\tilde{r}/\varepsilon^2)$개인 결정적 행 샘플링 행렬이 스펙트럴 노름 AMM을 달성할 수 있음을 보여주며, 이는 이전의 랭크 기반 보장보다 향상된 결과이다.

제안 방법

• 무관한 부분공간 매핑(OSE)의 모멘트 방법 분석과 근사 행렬 곱셈(AMM)에의 적용 간의 연결 고리를 규명하는 특성화를 도입한다.
• 만약 OSE 분포 $\mathcal{D}$가 모멘트 기반으로 차원 $2\tilde{r}$에 대해 $(\varepsilon, \delta, 2\tilde{r})$-OSE 조건을 만족한다면, 그 분포는 안정적 랭크 $\tilde{r}$를 갖는 행렬에 대해 스펙트럴 오차 AMM을 보장함을 보여준다.
• 이 특성화를 알려진 스케칭 행렬(예: 서브가우시안, 희소, 빠른 하다르드)에 적용하여, 그들의 안정적 랭크 기반 한계가 최적임을 보이고 일반화 가능함을 입증한다.
• 안정적 랭크를 랭크 대신 사용하도록 수정한 BSS 행 샘플링 프레임워크를 기반으로 한 결정적 알고리즘을 개발하여, 비제로 요소가 $O(\tilde{r}/\varepsilon^2)$개인 스케칭 행렬을 도출한다.
• 스케칭 행렬을 구성하기 위한 무작위 라운딩 과정의 수렴을 분석하기 위해 장벽 함수와 행렬 섭동 이론(Sherman-Morrison)을 사용한다.
• 스펙트럴 오차 행렬 곱셈에 대한 이전 연구와의 연결 고리를 활용하여, 낮은 랭크 근사, 회귀, 커널 방법에 대한 향상된 한계를 유도한다.

실험 결과

연구 질문

• RQ1 근사 행렬 곱셈에 대한 차원 축소가 랭크가 아닌 안정적 랭크로 기술될 수 있는가?
• RQ2 차원 $k$에서 모멘트 기반 조건을 만족하는 모든 무관한 부분공간 매핑(OSE)이 안정적 랭크 $k$를 갖는 행렬에 대해 AMM을 보장하는가?
• RQ3 빠르고 희소한 스케칭 행렬(예: 하위표본화된 무작위 하다르드, 희소 JL)의 분석이 랭크에서 안정적 랭크로 일반화될 수 있는가?
• RQ4 비제로 요소가 $O(\tilde{r}/\varepsilon^2)$개인 결정적 스케칭 행렬이 존재하여 스펙트럴 노름 AMM을 달성할 수 있는가?
• RQ5 BSS 결정적 행 샘플링 결과는 랭크에서 안정적 랭크로 강화될 수 있으며, 이는 낮은 랭크 근사 및 회귀에 어떤 영향을 미치는가?

주요 결과

• 스펙트럴 오차를 갖는 근사 행렬 곱셈을 위해, 무작위이자 데이터 무관인 스케칭 행렬 $\Pi$가 $m = O(\tilde{r}/\varepsilon^2)$개의 행을 가진다면 충분하다. 여기서 $\tilde{r}$은 입력 행렬의 안정적 랭크이다.
• 모멘트 방법 조건을 차원 $2\tilde{r}$에서 만족하는 모든 무관한 부분공간 매핑(OSE) 분포는 안정적 랭크 $\tilde{r}$를 갖는 행렬에 대해 AMM을 보장한다. 이는 이전 결과를 서브가우시안 스케치를 넘어서 빠르고 희소인 매핑까지 일반화한다.
• 이 결과는 희소, 빠르고 구조화된 스케칭 행렬(예: 하위표본화된 무작위 하다르드 등)을 포함한 광범위한 스케칭 행렬 클래스에 적용 가능하며, 분석에 안정적 랭크 기반 한계를 도입할 수 있다.
• 비제로 요소가 $O(\tilde{r}/\varepsilon^2)$개인 결정적 스케칭 행렬은 다항식 시간 내에 계산 가능하며, 스펙트럴 노름 AMM을 달성한다. 이는 원래 BSS 결과에서 사용한 랭크 기반 보장보다 향상된 결과이다.
• 주요 결과는 기계 학습에서 널리 사용되는 커널, 예를 들어 가우시안 커널과 소볼레프 커널에 대한 더 빠른 낮은 랭크 근사를 가능하게 하며, $k$-means 클러스터링의 차원 축소를 향상시킨다.
• 이 프레임워크는 기존 결과와 결합할 경우 근사 최소 제곱 회귀 및 비모수적 회귀에 대한 향상된 한계를 도출한다.