[論文レビュー] On Approximating Functions of the Singular Values in a Stream

Yi Li, David P. Woodruff|arXiv (Cornell University)|Apr 29, 2016

Complexity and Algorithms in Graphs参考文献 44被引用数 8

ひとこと要約

本稿は、データストリームにおける n×n 行列のシュターン p-ノルムの p 乗を近似する際のタイトな空間計算量の境界を確立している。非偶数整数 p に対しては、(1+ε)-近似のためには Ω(n^{1−g(ε)}) の空間が必要であり、偶数整数 p に対しては O(n^{1−2/p} poly(ε⁻¹ log n)) の空間で十分である。これらの結果は、シュターンノルム、キ・ファンノルム、SVD エントロピー、固有値スリミング関数、M-推定量の空間計算量を解消し、従来の下界を著しく改善している。

ABSTRACT

For any real number $p > 0$, we nearly completely characterize the space complexity of estimating $\|A\|_p^p = \sum_{i=1}^n σ_i^p$ for $n imes n$ matrices $A$ in which each row and each column has $O(1)$ non-zero entries and whose entries are presented one at a time in a data stream model. Here the $σ_i$ are the singular values of $A$, and when $p \geq 1$, $\|A\|_p^p$ is the $p$-th power of the Schatten $p$-norm. We show that when $p$ is not an even integer, to obtain a $(1+ε)$-approximation to $\|A\|_p^p$ with constant probability, any $1$-pass algorithm requires $n^{1-g(ε)}$ bits of space, where $g(ε) ightarrow 0$ as $ε ightarrow 0$ and $ε> 0$ is a constant independent of $n$. However, when $p$ is an even integer, we give an upper bound of $n^{1-2/p} extrm{poly}(ε^{-1}\log n)$ bits of space, which holds even in the turnstile data stream model. The latter is optimal up to $ extrm{poly}(ε^{-1} \log n)$ factors. Our results considerably strengthen lower bounds in previous work for arbitrary (not necessarily sparse) matrices $A$: the previous best lower bound was $Ω(\log n)$ for $p\in (0,1)$, $Ω(n^{1/p-1/2}/\log n)$ for $p\in [1,2)$ and $Ω(n^{1-2/p})$ for $p\in (2,\infty)$. We note for $p \in (2, \infty)$, while our lower bound for even integers is the same, for other $p$ in this range our lower bound is $n^{1-g(ε)}$, which is considerably stronger than the previous $n^{1-2/p}$ for small enough constant $ε> 0$. We obtain similar near-linear lower bounds for Ky-Fan norms, SVD entropy, eigenvalue shrinkers, and M-estimators, many of which could have been solvable in logarithmic space prior to our work.

研究の動機と目的

• スパースな n×n 行列のデータストリームにおける ‖A‖_p^p = ∑σ_i^p の推定の空間計算量を特徴づけること。
• ストリーミングモデルにおけるシュターン p-ノルム推定の既知の下界と上界のギャップを解消すること。
• キ・ファンノルム、SVD エントロピー、固有値スリミング関数、M-推定量を含む関連行列関数への空間計算量の結果を拡張すること。
• 非偶数整数 p に対して、任意の 1 パassアルゴリズムが n^{1−g(ε)} の空間を必要とすることを示すこと。ここで g(ε)→0 は ε→0 のときを意味する。
• 偶数整数 p に対して、O(n^{1−2/p} poly(ε⁻¹ log n)) の空間が十分であることを示し、既知の下界と多項式対数因子の違いを除いて一致することを確認すること。

提案手法

• 著者らは、1 パスのデータストリームモデルにおいて、各行・各列に O(1) 個の非ゼロ要素を持つ行列の ∑σ_i^p の推定の空間計算量を分析している。
• 非偶数整数 p に対して、n^{1−g(ε)} ビットの新しい下界を導出しており、これは関数の成長と特異値の挙動の還元と分析に基づいている。
• 偶数整数 p に対しては、線形スケッチとモーメント推定技術を用いた空間効率の良いアルゴリズムを提示している。この手法はターンスタイルモデルで有効である。
• この方法は、制御された特異値を持つ行列のハードインスタンスを構築し、エントリの更新に対する p 乗シュターンノルムの感度を分析することを含む。
• log(r(k)) のテイラー展開における係数を評価するために、母関数とカタラン数および超幾何関数の漸近的解析を用いている。
• 直交多項式の性質と超幾何関数の積分表現を活用し、級数展開における主要項の符号と大きさを制御することで、境界を確立している。

実験結果

リサーチクエスチョン

• RQ1 1 パスのストリーミングにおける行列のシュターン p-ノルムの p 乗推定の最適な空間計算量は何か？
• RQ2 空間計算量は、p が偶数整数であるかどうかに依存するか？
• RQ3 非偶数整数 p に対して、従来の下界を上回る空間計算量の改善は可能か？
• RQ4 キ・ファンノルム、SVD エントロピー、固有値スリミング関数、M-推定量もストリーミングモデルで線形に近い空間を必要とするか？
• RQ5 ターンスタイルモデルにおける偶数整数 p の最良の上界は何か？

主な発見

• 非偶数整数 p に対して、任意の 1 パスアルゴリズムは、(1+ε)-近似を得るためには n^{1−g(ε)} の空間を必要とし、ここで g(ε)→0 は ε→0 のときを意味する。
• 偶数整数 p に対しては、O(n^{1−2/p} poly(ε⁻¹ log n)) の空間上界が達成されており、多項式対数因子の違いを除いて最適である。
• 非偶数 p に対する下界は、従来のものよりも著しく強く、特に p>2 かつ ε が小さい場合に顕著である。
• これらの結果はキ・ファンノルム、SVD エントロピー、固有値スリミング関数、M-推定量にも拡張され、これらすべてがストリーミングモデルで線形に近い空間を必要とする。
• 本稿は、スパース行列設定におけるシュターン p-ノルムの空間計算量をほぼ完全に解消し、p と空間のトレードオフを特徴づけた。
• 解析により G₁ + G₂ ≠ 0 であることが示され、漸近展開における主要項の非消滅寄与が確認され、これは下界の証明に不可欠である。