[論文レビュー] Schatten Norms in Matrix Streams: Hello Sparsity, Goodbye Dimension

Vladimir Braverman, Robert Krauthgamer+2 more|arXiv (Cornell University)|Jul 11, 2019

Complex Network Analysis Techniques参考文献 46被引用数 5

ひとこと要約

本稿では、行列次元 $n$ に依存しないメモリで、行順序モデルにおける二重にスパースな行列のシュタイン $p$-ノルムを推定する最初のストリーミングアルゴリズムを提示する。ランダムウォークを用いて行列要素上を走査することで実現される。主な貢献は、偶数の整数 $p$ に対して、次元に依存しない空間計算量 $ ilde{O}( au^{-2}k^{p/2})$ を達成したことである。これにより、ネットワーク解析や機械学習の応用分野における大規模スパース行列の効率的なスペクトル解析が可能になる。

ABSTRACT

Spectral functions of large matrices contains important structural information about the underlying data, and is thus becoming increasingly important. Many times, large matrices representing real-world data are \emph{sparse} or \emph{doubly sparse} (i.e., sparse in both rows and columns), and are accessed as a \emph{stream} of updates, typically organized in \emph{row-order}. In this setting, where space (memory) is the limiting resource, all known algorithms require space that is polynomial in the dimension of the matrix, even for sparse matrices. We address this challenge by providing the first algorithms whose space requirement is \emph{independent of the matrix dimension}, assuming the matrix is doubly-sparse and presented in row-order. Our algorithms approximate the Schatten $p$-norms, which we use in turn to approximate other spectral functions, such as logarithm of the determinant, trace of matrix inverse, and Estrada index. We validate these theoretical performance bounds by numerical experiments on real-world matrices representing social networks. We further prove that multiple passes are unavoidable in this setting, and show extensions of our primary technique, including a trade-off between space requirements and number of passes.

研究の動機と目的

• メモリ制限のあるデータストリームモデルにおいて、大規模かつスパースな行列のスペクトル関数を推定する課題に対処すること。
• スパース行列に対しても行列次元 $n$ の多項式に比例する空間が必要な既存のアルゴリズムの制限を克服すること。
• 空間計算量が行列次元 $n$ に依存せず、スパースネス $k$ と近似誤差 $\varepsilon$ のみに依存するストリーミングアルゴリズムを開発すること。
• トレースの逆行列、行列式の対数、エストラダインデックスといった重要なスペクトル関数を近似するためのアプローチを拡張すること。
• 社会的・共同ネットワークからの実世界のスパース行列を用いた数値実験を通じて、アルゴリズムの頑健性と実用的効率性を示すこと。

提案手法

• 偶数の整数 $p$ に対して、スペクトル構造を捉えるようにエントリをサンプリングするランダムウォークに基づく推定器を用い、シュタイン $p$-ノルムを近似する。
• 行順ストリームモデルを活用して、辞書式順序で行列を処理し、スパースエントリの効率的かつ状態なしの走査を可能にする。
• 複数回のパスを用いるアルゴリズムを設計し、パス間でランダムウォークを再利用することで空間計算量を削減するが、パス数と空間計算量のトレードオフが生じる。
• 正定値行列に対しては、スペクトル分解とモーメント推定を用いて、すべての整数 $p \geq 1$ に一般化する。
• 独立な $t$ 個のランダムウォークの平均の誤差を集中不等式で抑え、高確率で $\varepsilon$-近似を達成することを保証する。
• シュタイン $p$-ノルム推定器を基盤として、既知の関数的関係を用いて他のスペクトル関数を近似する。

実験結果

リサーチクエスチョン

• RQ1 二重にスパースな行列のシュタイン $p$-ノルムは、行列次元 $n$ に依存しない単一パスのストリーミングモデルで推定可能か？
• RQ2 行順ストリームモデルにおいて、逆行列のトレースや行列式の対数といったスペクトル関数について、次元に依存しない空間計算量を達成できるか？
• RQ3 実際のところ、スパースネス $k$ とノルムパラメータ $p$ に対して、ランダムウォークの数（空間）は理論的境界と比べてどのようにスケーリングするか？
• RQ4 行列がほぼスパースである場合に、微小な摂動やノイズに対してアルゴリズムは頑健に保たれるか？
• RQ5 スパース行列のシュタインノルムを近似する際、パス数と空間計算量のトレードオフはどのように変化するか？

主な発見

• 提案手法は、偶数の整数 $p$ に対して、行列次元 $n$ に依存しない $ ilde{O}(\varepsilon^{-2}k^{p/2})$ の空間計算量を達成し、行順序モデルにおける二重にスパースな行列に対して有効である。
• arXiv共同作業ネットワークを用いた数値実験では、理論的境界 $O(\varepsilon^{-2}k^{p/2})$ よりも数個のオーダーも小さいランダムウォーク数で十分であることが示された。
• GR-QC共同ネットワーク（$n=5242$）では、理論的予測よりもはるかに少ない数のウォークでシュタイン6-ノルムを $10\%$ 以内の誤差で近似できた。
• 微小なランダムノイズ（$1/5$ のエントリが $\mathcal{N}(0, 0.1^2)$ で摂動された）に対しても、アルゴリズムは精度を維持し、ほぼスパースな行列に対しても実用的であることが示された。
• ウォーク数は $p$ に対して指数的ではなく、ゆっくりと増加する傾向にあり、エストラダインデックス や逆行列のトレースといったスペクトル関数の近似において実用的である可能性を示している。
• 5つの実世界の行列に対して $10\%$ の相対誤差を達成するためのウォーク数の中央値は、数百から数千の範囲にとどまり、理論的上限値よりもはるかに小さい。