[論文レビュー] Fixed-Rank Approximation of a Positive-Semidefinite Matrix from Streaming Data

Joel A. Tropp, Alp Yurtsever+2 more|arXiv (Cornell University)|May 18, 2017

Sparse and Compressive Sensing Techniques参考文献 37被引用数 21

ひとこと要約

本稿では、ランダム化スケッチフレームワークを用いてストリーミングデータからの固定ランク正定値（psd）行列近似のための新規アルゴリズムを提案する。ニュストローム法と新たなランク圧縮メカニズムを組み合わせることで、スペクトルの減衰を活用し、ストリーミングPCA や半定値計画法などの応用において、最適なストレージ使用を実現する、理論的に保証された高精度な低ランク近似を達成する。

ABSTRACT

Several important applications, such as streaming PCA and semidefinite programming, involve a large-scale positive-semidefinite (psd) matrix that is presented as a sequence of linear updates. Because of storage limitations, it may only be possible to retain a sketch of the psd matrix. This paper develops a new algorithm for fixed-rank psd approximation from a sketch. The approach combines the Nystrom approximation with a novel mechanism for rank truncation. Theoretical analysis establishes that the proposed method can achieve any prescribed relative error in the Schatten 1-norm and that it exploits the spectral decay of the input matrix. Computer experiments show that the proposed method dominates alternative techniques for fixed-rank psd matrix approximation across a wide range of examples.

研究の動機と目的

• 大規模で変化し続けるpsd行列の低ランクpsd近似を、厳密なストレージ制約のもとで維持するという課題に対処すること。
• フル行列のストレージが非現実的なストリーミング環境において、固定ランクpsd近似を効率的に計算できること。
• スペクトルの減衰とスケッチを活用して、最小限のストレージオーバーヘッドで高精度な近似を達成する手法の開発。
• ストリーミングpsd行列更新におけるシュタイン1-ノルムの近似誤差に関する理論的保証の提供。
• 多様な合成的および実世界の行列構造において、既存手法を上回る精度と効率性の実現。

提案手法

• 行列 $\bm{A}$ の変化を効率的に保持するため、$\bm{\Omega} \in \mathbb{F}^{n \times k}$ によるランダム化線形スケッチを用いる。
• スケッチ $\bm{Y} = \bm{A}\bm{\Omega}$ からニュストローム法を用いてランク-$k$ 近似 $\hat{\bm{A}}$ を構築する。
• SVDを用いてニュストローム近似を最良のランク-$r$ psd行列に射影する、新たなランク圧縮メカニズムを導入する。
• 行列の更新に伴い、線形ダイナミクス $\bm{Y} \leftarrow \theta_1\bm{Y} + \theta_2\bm{H}\bm{\Omega}$ に従ってスケッチを逐次更新する。
• 誤差指標としてシュタイン1-ノルムを用い、相対誤差に関する理論的境界を確立する。
• ガウス型スケッチとSSFT（サブサンプルドランダムフォーリエ変換）の2種類のスケッチを用い、実験的比較を実施する。

実験結果

リサーチクエスチョン

• RQ1 最適なストレージを実現するストリーミングスケッチから、固定ランクpsd近似を高精度に計算できるか？
• RQ2 提案手法の誤差は、スペクトルの減衰とスケッチサイズ $k$ に対してどのようにスケーリングされるか？
• RQ3 新規のランク圧縮メカニズムは、標準的なSVD圧縮と比較してシュタイン1-ノルム誤差において優れているか？
• RQ4 多様な行列タイプにおいて、既存のアルゴリズムと比較して、精度とストレージ効率の両面で優れているか？
• RQ5 スケッチタイプ（ガウス型 vs. SSFT）が、近似品質と計算コストに与える影響は何か？

主な発見

• 提案アルゴリズムは、シュタイン1-ノルムにおける相対誤差が有界であり、スペクトルの減衰に伴い有利にスケーリングされることを示した。
• 線形更新を持つストリーミングモデルにおいて、近似精度に関する理論的保証を提供した。
• コンピュータ実験の結果、低ランク、多項式的減衰、指数的減衰構造を有するあらゆるテスト合成行列タイプにおいて、代替手法を上回ることが確認された。
• SSFTスケッチは、ガウススケッチと同等の精度を達成しつつ、特に大規模な設定において計算コストを低減した。
• 有効ランク $R=5$、$10$、$20$ の場合、すべてのストレージコスト $T$ において、低シュタイン1-ノルム誤差を維持し、ベースライン手法を上回った。
• 高ノイズや遅いスペクトルの減衰が生じる状況でも、競合手法と比較して著しく低い誤差を達成しており、ロバスト性を示した。