[论文解读] Embeddings of Schatten Norms with Applications to Data Streams

Yi Li, David P. Woodruff|arXiv (Cornell University)|Feb 18, 2017

Random Matrices and Applications参考文献 20被引用 6

一句话总结

本文通过形式为 $ R \cdot A \cdot S $ 的线性映射，几乎完全确定了 Schatten-p 范数的降维界限，解决了所有 $ p, q \geq 1 $ 的可嵌入性问题。它建立了近似失真 $ D_{p,q} $ 与降低后的维度 $ n' \times d' $ 之间的最优权衡，并在数据流算法中实现 $ \tilde{O}(\min(n,d)^2 / D^4) $ 的空间复杂度，用于估计 Schatten-1 范数。

ABSTRACT

Given an $n imes d$ matrix $A$, its Schatten-$p$ norm, $p \geq 1$, is defined as $\|A\|_p = \left (\sum_{i=1}^{ extrm{rank}(A)}σ_i(A)^p ight )^{1/p}$, where $σ_i(A)$ is the $i$-th largest singular value of $A$. These norms have been studied in functional analysis in the context of non-commutative $\ell_p$-spaces, and recently in data stream and linear sketching models of computation. Basic questions on the relations between these norms, such as their embeddability, are still open. Specifically, given a set of matrices $A^1, \ldots, A^{\operatorname{poly}(nd)} \in \mathbb{R}^{n imes d}$, suppose we want to construct a linear map $L$ such that $L(A^i) \in \mathbb{R}^{n' imes d'}$ for each $i$, where $n' \leq n$ and $d' \leq d$, and further, $\|A^i\|_p \leq \|L(A^i)\|_q \leq D_{p,q} \|A^i\|_p$ for a given approximation factor $D_{p,q}$ and real number $q \geq 1$. Then how large do $n'$ and $d'$ need to be as a function of $D_{p,q}$? We nearly resolve this question for every $p, q \geq 1$, for the case where $L(A^i)$ can be expressed as $R \cdot A^i \cdot S$, where $R$ and $S$ are arbitrary matrices that are allowed to depend on $A^1, \ldots, A^t$, that is, $L(A^i)$ can be implemented by left and right matrix multiplication. Namely, for every $p, q \geq 1$, we provide nearly matching upper and lower bounds on the size of $n'$ and $d'$ as a function of $D_{p,q}$. Importantly, our upper bounds are {\it oblivious}, meaning that $R$ and $S$ do not depend on the $A^i$, while our lower bounds hold even if $R$ and $S$ depend on the $A^i$. As an application of our upper bounds, we answer a recent open question of Blasiok et al. about space-approximation trade-offs for the Schatten $1$-norm, showing in a data stream it is possible to estimate the Schatten-$1$ norm up to a factor of $D \geq 1$ using $ ilde{O}(\min(n,d)^2/D^4)$ space.

研究动机与目标

• 解决通过形式为 $ R \cdot A \cdot S $ 的线性映射将 Schatten-p 范数嵌入到 Schatten-q 范数中的开放性问题。
• 确定在所有 $ p, q \geq 1 $ 的情况下，为实现给定近似因子 $ D_{p,q} $ 所需的最小维度 $ n' \times d' $。
• 提供几乎匹配上下界的无感知嵌入（其中 $ R, S $ 不依赖于输入矩阵）
• 将结果应用于数据流算法，特别是实现单通道数据流中 Schatten-1 范数估计的子线性空间复杂度。

提出的方法

• 提出了一类随机矩阵 $ R \in \mathbb{R}^{t \times n} $ 的分布，使得 $ \|RA\|_q $ 以高概率在失真 $ D_{p,q} $ 内近似 $ \|A\|_p $。
• 使用具有 $ \Theta(r) $-重独立性的高斯随机矩阵，并对条目进行截断，以减少随机性和空间使用，同时保持关键性质。
• 应用子空间嵌入和 Johnson-Lindenstrauss 类型的论证，以在降维下保持范数集中性。
• 采用两阶段采样方法：先左乘 $ R $，再右乘子空间嵌入 $ S $，以实现 $ \|RAS^T\|_q \approx \|A\|_p $。
• 基于 $ n, d, t $ 以及 $ p $ 和 $ q $ 的指数之间的相互作用，推导出失真界限 $ D_{p,q} $，并根据 $ p, q \in [1,2] $ 或 $ [2,\infty) $ 区分不同情形。
• 结合概率分析与矩阵集中不等式，证明 $ \|RA\|_q $ 以失败概率 $ \exp(-\Omega(t)) $ 集中在 $ \|A\|_p $ 附近。

实验结果

研究问题

• RQ1 通过 $ R \cdot A \cdot S $ 将 Schatten-p 范数嵌入 Schatten-q 范数，所需的最小维度 $ n' \times d' $ 是多少，才能实现失真 $ D_{p,q} $？
• RQ2 无感知嵌入（其中 $ R, S $ 独立于输入矩阵）能否在所有 $ p, q \geq 1 $ 情况下实现近乎最优的失真？
• RQ3 在单通道数据流中估计 Schatten-1 范数时，最优的空间-近似权衡是什么？
• RQ4 失真界限如何依赖于参数 $ n, d, p, q $ 以及采样行数 $ t $？

主要发现

• 对于所有 $ p, q \geq 1 $，本文提供了几乎匹配的上下界，失真 $ D_{p,q} $ 的下界甚至在自适应 $ R, S $ 情况下也成立。
• 失真 $ D_{p,q} $ 在渐近意义下几乎紧致，仅相差对数因子，其中 $ \hat{D}_{p,q} $ 捕捉了每种参数区域下的最优权衡。
• 对于 Schatten-1 范数，本文表明 $ \tilde{O}(\min(n,d)^2 / D^4) $ 的空间足以在单通道数据流中以因子 $ D $ 内近似估计该范数。
• 采样矩阵 $ R $ 和 $ S $ 可以通过大小为 $ O((n/D^2) \log n) $ 比特的种子生成，从而支持高效的流式实现。
• 将高斯条目截断至每项 $ O(\log n) $ 比特，可保持范数集中性，从而实现高效存储与生成。
• 两阶段采样 $ RAS^T $ 达到了与 $ RA $ 相同的失真，右乘 $ S $ 在降低输出维度的同时保持了近似保证。