[論文レビュー] Range-Net: A High Precision Streaming SVD for Big Data Applications

Gurpreet Singh, Soumyajit Gupta+2 more|arXiv (Cornell University)|Oct 27, 2020

Stochastic Gradient Optimization Techniques参考文献 29被引用数 5

ひとこと要約

Range-Net は、ビッグデータ応用におけるストリーミング低ランク SVD のための決定的で二段階のニューラル最適化フレームワークであり、マシン精度で Eckart-Young-Mirsky (EYM) 尾エネルギー下界に達成する。メモリ使用量は特徴次元とランクにのみ依存するため、ランダム化 SVD 法に比べて精度が6桁以上優れており、完全に解釈可能で理論的誤差下界への収束を保証する。

ABSTRACT

In a Big Data setting computing the dominant SVD factors is restrictive due to the main memory requirements. Recently introduced streaming Randomized SVD schemes work under the restrictive assumption that the singular value spectrum of the data has exponential decay. This is seldom true for any practical data. Although these methods are claimed to be applicable to scientific computations due to associated tail-energy error bounds, the approximation errors in the singular vectors and values are high when the aforementioned assumption does not hold. Furthermore from a practical perspective, oversampling can still be memory intensive or worse can exceed the feature dimension of the data. To address these issues, we present Range-Net as an alternative to randomized SVD that satisfies the tail-energy lower bound given by Eckart-Young-Mirsky (EYM) theorem. Range-Net is a deterministic two-stage neural optimization approach with random initialization, where the main memory requirement depends explicitly on the feature dimension and desired rank, independent of the sample dimension. The data samples are read in a streaming setting with the network minimization problem converging to the desired rank-r approximation. Range-Net is fully interpretable where all the network outputs and weights have a specific meaning. We provide theoretical guarantees that Range-Net extracted SVD factors satisfy EYM tail-energy lower bound at machine precision. Our numerical experiments on real data at various scales confirms this bound. A comparison against the state of the art streaming Randomized SVD shows that Range-Net accuracy is better by six orders of magnitude while being memory efficient.

研究の動機と目的

• ストリーミング化されたランダム化 SVD 法が制限的なスペクトル減衰仮定に依存しており、その仮定が成立しない場合に高い近似誤差を生じるという限界に対処すること。
• 特徴次元 n とランク r にのみ依存する低メモリでストリーミング可能な SVD スolver を開発し、Eckart-Young-Mirsky (EYM) 定理で定義された尾エネルギー誤差の理論的下界に到達すること。
• すべてのネットワーク重みと出力が SVD の文脈で明確な数学的意味を持つように、完全に解釈可能であることを保証すること。
• 完全な行列のロードを必要とせず、上界誤差推定に依存しない独立して検証可能な、ランダム化 SVD の実用的で代替可能な代替手段を提供すること。

提案手法

• Range-Net は二段階の決定的ニューラル最適化プロセスを採用する：まず、プロジェクターネットワークを用いて、目的のランク-r 近似の範囲を特定する。
• 第二段階では、特定された範囲を真の左・右特異ベクトルに一致させる回転を実行するとともに、対応する特異値を抽出する。
• ネットワークは初期値をランダムに設定するが、Frobenius 範囲誤差の最小化により最適な SVD 要素に収束し、EYM 下界に収束することが保証される。
• 主メモリ使用量はサンプル数 m とは無関係に、特徴次元 n と所望のランク r のみに依存するため、ストリーミング処理が可能である。
• 再構築された行列と真の低ランク近似との差を最小化するように駆動する損失関数が使用される。
• 理論的保証は付録 A に記載されており、抽出された SVD 要素が機械精度で EYM 尾エネルギー下界を満たすことを証明している。

実験結果

リサーチクエスチョン

• RQ1 スペクトル減衰仮定に依存せず、理論的 EYM 尾エネルギー下界に到達できるストリーミング SVD 法は実現可能か？
• RQ2 大規模データ環境下で、決定的ニューラル SVD 手法のメモリ効率は、ランダム化ストリーミング SVD 法と比べてどの程度優れているか？
• RQ3 ニューラルネットワークベースの SVD スolver は、重みと出力の完全な解釈可能性を保ちながら、どの程度高い精度を維持できるか？
• RQ4 全行列のロードを必要とせず、実用的なビッグデータ応用において Range-Net が EYM 下界に機械精度で収束できるか？
• RQ5 特異ベクトルおよび特異値の近似精度において、Range-Net は最先端のランダム化 SVD アルゴリズムと比べてどの程度優れているか？

主な発見

• Range-Net は、付録 A に理論的保証を含めて、機械精度で Eckart-Young-Mirsky (EYM) 尾エネルギー下界に到達する。
• MNIST データセット（m=60k, n=784, r=200）において、Range-Net はピークメモリ使用量がわずか 916 MB にとどまる一方、SketchySVD は過剰サンプリングのため 14 GB を要した。
• ランク-100 近似において、Range-Net はすべての 100 インデックスで真の右特異ベクトルとの高い相関を維持したが、SketchySVD はインデックス 10 を超えて著しく逸脱した。
• Range-Net の特異値スクリー図は、従来の SVD とほぼ完全に一致していたが、SketchySVD はランク 3 を超えて顕著な逸脱を示した。
• 数値実験では、Range-Net は特異ベクトルおよび特異値の両方において、最先端のランダム化 SVD に比べて精度が6桁優れていた。
• ランダム化 SVD が主観的な上界誤差推定に依存するのに対し、Range-Net は完全な SVD を実行せずに独立して検証可能である。