[논문 리뷰] Embeddings of Schatten Norms with Applications to Data Streams

Yi Li, David P. Woodruff|arXiv (Cornell University)|2017. 02. 18.

Random Matrices and Applications참고 문헌 20인용 수 6

한 줄 요약

이 논문은 선형 사상 $ R \cdot A \cdot S $ 를 통한 샤텐-p 노름의 차원 감소에 대해 거의 날카로운 경계를 제공하며, 모든 $ p, q \geq 1 $ 에 대해 임bedding 문제를 해결한다. 이는 근사 왜곡 $ D_{p,q} $ 와 감소된 차원 $ n' \times d' $ 사이의 최적의 트레이드오프를 수립하며, 샤텐-1 노름 추정에 대해 $ \tilde{O}(\min(n,d)^2 / D^4) $ 의 공간 복잡도를 달성하는 데이터 스트림 알고리즘에 적용된다.

ABSTRACT

Given an $n imes d$ matrix $A$, its Schatten-$p$ norm, $p \geq 1$, is defined as $\|A\|_p = \left (\sum_{i=1}^{ extrm{rank}(A)}σ_i(A)^p ight )^{1/p}$, where $σ_i(A)$ is the $i$-th largest singular value of $A$. These norms have been studied in functional analysis in the context of non-commutative $\ell_p$-spaces, and recently in data stream and linear sketching models of computation. Basic questions on the relations between these norms, such as their embeddability, are still open. Specifically, given a set of matrices $A^1, \ldots, A^{\operatorname{poly}(nd)} \in \mathbb{R}^{n imes d}$, suppose we want to construct a linear map $L$ such that $L(A^i) \in \mathbb{R}^{n' imes d'}$ for each $i$, where $n' \leq n$ and $d' \leq d$, and further, $\|A^i\|_p \leq \|L(A^i)\|_q \leq D_{p,q} \|A^i\|_p$ for a given approximation factor $D_{p,q}$ and real number $q \geq 1$. Then how large do $n'$ and $d'$ need to be as a function of $D_{p,q}$? We nearly resolve this question for every $p, q \geq 1$, for the case where $L(A^i)$ can be expressed as $R \cdot A^i \cdot S$, where $R$ and $S$ are arbitrary matrices that are allowed to depend on $A^1, \ldots, A^t$, that is, $L(A^i)$ can be implemented by left and right matrix multiplication. Namely, for every $p, q \geq 1$, we provide nearly matching upper and lower bounds on the size of $n'$ and $d'$ as a function of $D_{p,q}$. Importantly, our upper bounds are {\it oblivious}, meaning that $R$ and $S$ do not depend on the $A^i$, while our lower bounds hold even if $R$ and $S$ depend on the $A^i$. As an application of our upper bounds, we answer a recent open question of Blasiok et al. about space-approximation trade-offs for the Schatten $1$-norm, showing in a data stream it is possible to estimate the Schatten-$1$ norm up to a factor of $D \geq 1$ using $ ilde{O}(\min(n,d)^2/D^4)$ space.

연구 동기 및 목표

• 선형 사상 $ R \cdot A \cdot S $ 를 사용하여 샤텐-p 노름이 샤텐-q 노름으로 임베딩될 수 있는지에 대한 열린 질문을 해결하기 위해.
• 모든 $ p, q \geq 1 $ 에 대해 주어진 근사 인자 $ D_{p,q} $ 를 달성하기 위해 필요한 최소 차원 $ n' \times d' $ 를 결정하기 위해.
• 입력 행렬에 의존하지 않는 오블리비우스 임베딩(즉, $ R, S $ 가 입력 행렬에 독립적임)을 제공하며, 상한과 하한이 거의 일치하도록 하기 위해.
• 결과를 데이터 스트림 알고리즘에 적용하여, 특히 단일 패ass 스트림에서 샤텐-1 노름을 부분선형 공간 복잡도로 추정하는 데에 활용하기 위해.

제안 방법

• 확률적으로 높은 확률로 $ \|RA\|_q $ 가 $ \|A\|_p $ 를 왜곡 $ D_{p,q} $ 내에서 근사하도록 하는 랜덤 행렬 $ R \in \mathbb{R}^{t \times n} $ 의 분포를 제안한다.
• Gaussian 랜덤 행렬을 사용하며, $ \Theta(r) $-wise 독립성과 항목 절단을 통해 랜덤성과 공간 사용을 줄이면서도 핵심 성질을 유지한다.
• 하향 차원 감소에서 노름 농도를 유지하기 위해 부분공간 임베딩과 존슨-린든스트라우스 유형의 추론을 적용한다.
• 두 단계 스케치 방법을 활용: $ R $ 에 의한 좌측 곱셈 이후, 부분공간 임베딩 $ S $ 에 의한 우측 곱셈을 통해 $ \|RAS^T\|_q \approx \|A\|_p $ 를 달성한다.
• 파라미터 $ n, d, t $ 와 $ p, q $ 의 지수 간의 상호작용을 바탕으로 왜곡 경계 $ D_{p,q} $ 를 유도하며, $ p, q \in [1,2] $ 또는 $ [2,\infty) $ 인지에 따라 경우를 구분한다.
• 확률적 분석과 행렬 농도 부등식을 결합하여 $ \|RA\|_q $ 가 $ \|A\|_p $ 근처에 집중되며, 실패 확률이 $ \exp(-\Omega(t)) $ 임을 증명한다.

실험 결과

연구 질문

• RQ1 모든 $ p, q \geq 1 $ 에 대해, $ R \cdot A \cdot S $ 를 통해 샤텐-p 노름을 샤텐-q 노름으로 임베딩할 때 왜곡 $ D_{p,q} $ 를 달성하기 위해 필요한 최소 차원 $ n' \times d' $ 는 무엇인가?
• RQ2 입력 행렬에 독립적인 오블리비우스 임베딩($ R, S $ 가 입력에 의존하지 않음)이 모든 $ p, q \geq 1 $ 에 대해 거의 최적의 왜곡을 달성할 수 있는가?
• RQ3 단일 패ass 데이터 스트림에서 샤텐-1 노름을 추정할 때 최적의 공간-근사 트레이드오프는 무엇인가?
• RQ4 왜곡 경계는 $ n, d, p, q $ 와 스케치 행 수 $ t $ 등의 파라미터에 어떻게 의존하는가?

주요 결과

• 모든 $ p, q \geq 1 $ 에 대해, 이 논문은 왜곡 $ D_{p,q} $ 에 대해 거의 일치하는 상한과 하한을 제공하며, 하한은 적응형 $ R, S $ 에 대해서도 성립한다.
• 왜곡 $ D_{p,q} $ 는 로그 인자까지는 점근적으로 날카로운 경계를 가지며, $ \hat{D}_{p,q} $ 는 각 파라미터 영역에서 최적의 트레이드오프를 반영한다.
• 샤텐-1 노름의 경우, 이 논문은 단일 패스 데이터 스트림에서 노름을 인자 $ D $ 내로 추정하기 위해 $ \tilde{O}(\min(n,d)^2 / D^4) $ 의 공간이 충분함을 보여준다.
• 스케치 행렬 $ R $ 과 $ S $ 는 크기 $ O((n/D^2) \log n) $ 비트의 시드로부터 생성될 수 있으며, 이는 효율적인 스트림 구현을 가능하게 한다.
• 각 항목에 대해 Gaussian 항목을 $ O(\log n) $ 비트로 절단함으로써 노름 농도가 유지되며, 이는 공간 효율적인 저장 및 스케치 생성을 가능하게 한다.
• 두 단계 스케치 $ RAS^T $ 는 $ RA $ 와 동일한 왜곡을 달성하며, $ S $ 에 의한 우측 곱셈은 근사 보장을 유지하면서 출력 차원을 줄인다.