[論文レビュー] Streaming, Memory Limited Matrix Completion with Noise

Se-Young Yun, Marc Lelarge+1 more|arXiv (Cornell University)|Apr 13, 2015

Sparse and Compressive Sensing Techniques参考文献 16被引用数 6

ひとこと要約

本稿では、ノイズのある観測値を伴うストリーミングかつメモリ制限のある環境における低ランク行列補完のための、メモリおよび計算コストに優れたアルゴリズム、SMC（Streaming Matrix Completion）を提案する。本手法は、有効ランクを$k$、サンプリングレートを$\delta$とすると、$O(km + kn)$のメモリと$O(\delta kmn)$の計算量で、漸近的に消える平均二乗誤差を達成する。

ABSTRACT

In this paper, we consider the streaming memory-limited matrix completion problem when the observed entries are noisy versions of a small random fraction of the original entries. We are interested in scenarios where the matrix size is very large so the matrix is very hard to store and manipulate. Here, columns of the observed matrix are presented sequentially and the goal is to complete the missing entries after one pass on the data with limited memory space and limited computational complexity. We propose a streaming algorithm which produces an estimate of the original matrix with a vanishing mean square error, uses memory space scaling linearly with the ambient dimension of the matrix, i.e. the memory required to store the output alone, and spends computations as much as the number of non-zero entries of the input matrix.

研究の動機と目的

• 完全な行列の保存が不可能な大規模かつストリーミング環境における行列補完の課題に対処すること。
• リアルタイムの推薦システムに適した、厳密なメモリおよび計算制約のもとで動作するアルゴリズムを設計すること。
• ノイズがあり、ランダムにサンプリングされたエントリが存在する状況でも、漸近的に消える平均二乗誤差を達成する行列回復を保証すること。
• メモリ使用量を環境行列次元に対して線形にスケーリングし、出力サイズにのみ依存するようにすること。
• 観測済み（非ゼロ）エントリ数に比例する計算複雑性を維持し、1パス処理を可能にすること。

提案手法

• 各列をストリーミング形式で逐次処理し、各列に対してランダムにサブセットされたエントリのみを観測する。
• 主な特異部分空間を、少数のランダムにサンプリングされた列のサブセットから推定するため、スパース主成分分析（SPCA）サブルーチンを用いる。
• 低ランク構造を活用し、制御されたメモリオーバーヘッドを伴うスケッチベースのアプローチにより、上位$k$個の特異ベクトルと特異値を推定する。
• 2段階戦略を採用する：まず、$\ell = k/(\delta \log m)$列を処理して部分空間を推定し、次にその推定値を用いて残りの列を補完する。
• 推定された部分空間を用いて射影と最小二乗推定を実行し、全行列を再構築することで、ノイズ下での誤差を最小化する。
• 最終的な低ランク近似を、最小限の追加メモリで効率的に計算するために、グラム・シュミット法と行列演算を用いる。

実験結果

リサーチクエスチョン

• RQ1 ノイズがあり、ランダムにサンプリングされたエントリが存在するストリーミングかつメモリ制限のある環境で、行列補完を正確に行うことは可能か？
• RQ2 このような制約下で、漸近的に正確な行列回復を達成するために必要な最小限のメモリおよび計算コストは何か？
• RQ3 サンプリングレート$\delta$および有効ランク$k$は、回復プロセスの精度と複雑さにどのように影響を与えるか？
• RQ4 出力とデータの小さなスケッチのみを保存する1パスアルゴリズムが、消える平均二乗誤差を達成できるか？
• RQ5 行列構造（例：特異値の崩れ）にどのような条件が課されると、ノイズと限られたサンプリング下でも一貫した回復が保証されるか？

主な発見

• 仮定1のもとで、SMCアルゴリズムは漸近的に消える平均二乗誤差を達成する：$\frac{\|\hat{M} - M\|_F^2}{mn} = o(1)$ が $m,n \to \infty$ のとき成り立つ。
• アルゴリズムは、$O(km + kn)$のメモリのみを要し、これは環境行列次元に対して線形にスケーリングされ、出力自体に必要なストレージと一致する。
• 計算複雑性は$O(\delta kmn)$であり、これは観測行列内の非ゼロエントリ数に比例するため、効率的な1パス処理を可能にする。
• サンプリング率$\delta \to 0$であっても、$\delta = \omega(k \max(k/n, \log^2 m / m, k \log m / m))$を満たす限り、回復に十分なサンプリングが保証されるため、本手法は有効である。
• 行列の上位$k$個の特異部分空間が明確に分離されており、特異値の尾部がフロベニウスノルムで無視できる場合に、理論的保証が成り立つ。
• エントリがi.i.d.でゼロ平均であり、$[0,1]$の範囲に収まっている限り、ノイズに対して本手法の性能は頑健である。