[論文レビュー] Embeddings of Schatten Norms with Applications to Data Streams

Yi Li, David P. Woodruff|arXiv (Cornell University)|Feb 18, 2017

Random Matrices and Applications参考文献 20被引用数 6

ひとこと要約

本稿は、形式 $ R \cdot A \cdot S $ の線形写像によるスチャテン-pノルムの次元削減について、ほぼタイトな境界を提供し、すべての $ p, q \geq 1 $ における埋め込み可能性の問題を解決する。近似歪み $ D_{p,q} $ と次元を削減した $ n' \times d' $ の間の最適なトレードオフを確立し、特にスチャテン-1ノルム推定において $ \tilde{O}(\min(n,d)^2 / D^4) $ の空間で実現可能なデータストリームアルゴリズムへの応用を示す。

ABSTRACT

Given an $n imes d$ matrix $A$, its Schatten-$p$ norm, $p \geq 1$, is defined as $\|A\|_p = \left (\sum_{i=1}^{ extrm{rank}(A)}σ_i(A)^p ight )^{1/p}$, where $σ_i(A)$ is the $i$-th largest singular value of $A$. These norms have been studied in functional analysis in the context of non-commutative $\ell_p$-spaces, and recently in data stream and linear sketching models of computation. Basic questions on the relations between these norms, such as their embeddability, are still open. Specifically, given a set of matrices $A^1, \ldots, A^{\operatorname{poly}(nd)} \in \mathbb{R}^{n imes d}$, suppose we want to construct a linear map $L$ such that $L(A^i) \in \mathbb{R}^{n' imes d'}$ for each $i$, where $n' \leq n$ and $d' \leq d$, and further, $\|A^i\|_p \leq \|L(A^i)\|_q \leq D_{p,q} \|A^i\|_p$ for a given approximation factor $D_{p,q}$ and real number $q \geq 1$. Then how large do $n'$ and $d'$ need to be as a function of $D_{p,q}$? We nearly resolve this question for every $p, q \geq 1$, for the case where $L(A^i)$ can be expressed as $R \cdot A^i \cdot S$, where $R$ and $S$ are arbitrary matrices that are allowed to depend on $A^1, \ldots, A^t$, that is, $L(A^i)$ can be implemented by left and right matrix multiplication. Namely, for every $p, q \geq 1$, we provide nearly matching upper and lower bounds on the size of $n'$ and $d'$ as a function of $D_{p,q}$. Importantly, our upper bounds are {\it oblivious}, meaning that $R$ and $S$ do not depend on the $A^i$, while our lower bounds hold even if $R$ and $S$ depend on the $A^i$. As an application of our upper bounds, we answer a recent open question of Blasiok et al. about space-approximation trade-offs for the Schatten $1$-norm, showing in a data stream it is possible to estimate the Schatten-$1$ norm up to a factor of $D \geq 1$ using $ ilde{O}(\min(n,d)^2/D^4)$ space.

研究の動機と目的

• 形式 $ R \cdot A \cdot S $ の線形写像を用いた、スチャテン-pノルムからスチャテン-qノルムへの埋め込み可能性に関する未解決問題を解消すること。
• すべての $ p, q \geq 1 $ に対して、与えられた近似要因 $ D_{p,q} $ を達成するために必要な最小次元 $ n' \times d' $ を特定すること。
• 入力行列に依存しない（すなわちオーバーサイドな）埋め込み（$ R, S $ が入力行列に依存しないもの）を提供し、上界と下界がほぼ一致するようにすること。
• 得られた結果をデータストリームアルゴリズムに応用し、特にスチャテン-1ノルムのサブリニア空間での推定に焦点を当てる。

提案手法

• 高確率で $ \|RA\|_q $ が $ \|A\|_p $ を歪み $ D_{p,q} $ 以内に近似するような、ランダム行列 $ R \in \mathbb{R}^{t \times n} $ の分布を提案する。
• ガウス分布のランダム行列を用い、$ \Theta(r) $ 次の独立性とエントリの切り詰めを導入することで、ランダムネスと空間使用量を削減しながらも、重要な性質を保持する。
• 部分空間埋め込みとジョンソン＝リンデンストラウス型の議論を用いて、次元削減下でもノルムの集中を維持する。
• 2段階のスケッチングアプローチを採用：まず $ R $ による左乗算を行い、次に部分空間埋め込み $ S $ による右乗算を行うことで、$ \|RAS^T\|_q \approx \|A\|_p $ を達成する。
• パrameter $ n, d, t $ と $ p, q $ の指数との間の相互作用に基づいて歪み境界 $ D_{p,q} $ を導出する。$ p, q \in [1,2] $ または $ [2,\infty) $ の場合に応じて場合分けを行う。
• 確率的解析と行列集中不等式を組み合わせ、$ \|RA\|_q $ が $ \|A\|_p $ のまわりに集中することを証明し、失敗確率が $ \exp(-\Omega(t)) $ であることを示す。

実験結果

リサーチクエスチョン

• RQ1 形式 $ R \cdot A \cdot S $ を用いてスチャテン-pノルムをスチャテン-qノルムに埋め込む際、歪み $ D_{p,q} $ を達成するために必要な最小次元 $ n' \times d' $ は何か？
• RQ2 入力行列に依存しない（オーバーサイドな）埋め込み（$ R, S $ が入力行列に依存しないもの）は、すべての $ p, q \geq 1 $ に対してほぼ最適の歪みを達成できるか？
• RQ3 単一パスのデータストリームにおいて、スチャテン-1ノルムを推定する際の最適な空間-近似トレードオフは何か？
• RQ4 歪み境界 $ D_{p,q} $ は、パラメータ $ n, d, p, q $、およびスケッチの行数 $ t $ にどのように依存するか？

主な発見

• すべての $ p, q \geq 1 $ に対して、本稿は歪み $ D_{p,q} $ について、ほぼ一致する上界と下界を提供する。下界は、適応的（adaptive）な $ R, S $ に対しても成立する。
• 歪み $ D_{p,q} $ は、対数要因を除いて漸近的にタイトであり、$ \hat{D}_{p,q} $ が各パrameter領域における最適なトレードオフを捉えている。
• スチャテン-1ノルムに関して、本稿は、単一パスのデータストリームでノルムを要因 $ D $ 以内に推定するために、$ \tilde{O}(\min(n,d)^2 / D^4) $ の空間で十分であることを示している。
• スケッチ行列 $ R $ と $ S $ は、サイズ $ O((n/D^2) \log n) $ ビットのシードから生成可能であり、効率的なストリーミング実装を可能にする。
• ガウスエントリを各エントリあたり $ O(\log n) $ ビットに切り詰めることで、ノルムの集中が保持され、スケッチの空間効率的な保存と生成が可能になる。
• 2段階のスケッチ $ RAS^T $ は、$ RA $ と同等の歪みを達成する。右乗算による $ S $ の導入により、近似保証が維持されつつ、出力次元が削減される。