[論文レビュー] Spectrum Estimation from a Few Entries

Ashish Khetan, Sewoong Oh|arXiv (Cornell University)|Mar 18, 2017

Sparse and Compressive Sensing Techniques参考文献 44被引用数 4

ひとこと要約

本稿では、低ランク行列のスペクトルを少数の観測エントリから推定するための新規でサンプル効率の高い手法を提案する。まず、小規模な部分グラフ（例：クリーク）の数を数えることで不偏推定量に基づくシュタット $k$-ノルムを推定し、その後、チェビシェフ近似またはモーメントマッチングを用いてスペクトル和関数および全スペクトルを回復する。主な貢献は、特に $| abla| riangleq d^2p riangleq dr$ のような部分線形領域において、行列補完に必要なよりもはるかに少ないサンプル数でシュタットノルムを正確に推定できることである。

ABSTRACT

Singular values of a data in a matrix form provide insights on the structure of the data, the effective dimensionality, and the choice of hyper-parameters on higher-level data analysis tools. However, in many practical applications such as collaborative filtering and network analysis, we only get a partial observation. Under such scenarios, we consider the fundamental problem of recovering spectral properties of the underlying matrix from a sampling of its entries. We are particularly interested in directly recovering the spectrum, which is the set of singular values, and also in sample-efficient approaches for recovering a spectral sum function, which is an aggregate sum of the same function applied to each of the singular values. We propose first estimating the Schatten $k$-norms of a matrix, and then applying Chebyshev approximation to the spectral sum function or applying moment matching in Wasserstein distance to recover the singular values. The main technical challenge is in accurately estimating the Schatten norms from a sampling of a matrix. We introduce a novel unbiased estimator based on counting small structures in a graph and provide guarantees that match its empirical performance. Our theoretical analysis shows that Schatten norms can be recovered accurately from strictly smaller number of samples compared to what is needed to recover the underlying low-rank matrix. Numerical experiments suggest that we significantly improve upon a competing approach of using matrix completion methods.

研究の動機と目的

• 観測されたエントリの小さな部分集合から、固有値／特異値を含む行列のスペクトル的性質を推定するという根本的な課題に取り組む。
• 特に $| abla| riangleq d^2p riangleq dr$ のような部分線形サンプリング領域において、従来の行列補完手法が失敗するという制限を克服する。
• 全行列を再構築せずにスペクトル和関数および全スペクトルを直接推定するフレームワークを構築する。
• シュタット $k$-ノルムが、低ランク行列回復に必要なよりも少ないサンプル数で正確に推定可能であるという理論的保証を提供する。
• 小規模な部分グラフ（例：クリーク）の数を数えることで構築された、シュタットノルムのための新規な不偏推定量を設計し、きつい分散バウンドを導出する。

提案手法

• サンプリングパターングラフ内での $k$-閉路ウォークまたは小規模なクリーク（$K_\nu$）の数を数えることで、シュタット $k$-ノルムを不偏推定量を用いて推定する。
• 推定量の出力を用いて、ワッサースタイン距離におけるチェビシェフ近似またはモーメントマッチングによりスペクトル和関数を再構築する。
• 欠損エントリを補正するため、サンプル行列に $(d^2/| abla|)$ のスケーリング係数を適用するが、部分線形領域ではサンプル行列のシュタットノルムを直接用いることは不十分であることを示す。
• Erdös-Rényi（ランダムサンプリング）とグラフサンプリング（構造的サンプリング）の2つのサンプリングモデルを導入し、それぞれに特化した理論的分析を提供する。
• シュタットノルム推定のための正確な推定に必要なサンプル数の理論的バウンドを導出し、行列補完に必要なサンプル数よりも厳密に小さいことを示す。
• 擬似グラフ分解と重み付きウォーク解析を用いて、推定量の分散をバウンドする。これは、最悪ケースのキャンセルを想定することで、ロバスト性を確保する。

実験結果

リサーチクエスチョン

• RQ1 部分線形数のサンプルエントリ $| abla| riangleq d^2p riangleq dr$ から、行列のスペクトル的性質を正確に推定することは可能か？
• RQ2 全行列回復なしに、少数のエントリのみを用いてシュタット $k$-ノルムを正確に推定することは可能か？
• RQ3 部分線形サンプリング領域において、提案手法の推定量は標準的な行列補完手法と比べてどのように性能を発揮するか？
• RQ4 シュタットノルムを高い確率で推定するために必要な最小サンプル数は何か？ また、行列のランクと次元にどのようにスケーリングされるか？
• RQ5 サンプリングパターン内のグラフ理論的構造（例：クリーク）を活用して、シュタットノルムのための不偏的かつ効率的な推定量を設計することは可能か？

主な発見

• 提案手法によるシュタット $k$-ノルム推定量は、特に部分線形領域において、低ランク行列回復に必要なよりもはるかに少ないサンプル数で正確な推定を達成する。
• 数値実験では、$| abla| riangleq d^2p riangleq dr$ の場合に、スペクトル和関数およびスペクトルの推定において、行列補完に基づく手法を上回る性能を示す。
• $K_\nu$ クリークの数を数える推定量は、シュタットノルムの不偏推定を達成し、擬似グラフウォーク分解を用いて理論的分散バウンドを導出する。
• 有効ランクが小さい行列（例：特異値が $1/i^2$ のように減衰する）では、提案手法と単純なスケーリング済みサンプル行列との差が縮小するため、低ランク設定での性能向上が顕著に現れる。
• 理論的分析により、必要なサンプル数が行列次元 $d$ に対して部分線形にスケーリングされ、特定の条件下では行列ランク $r$ に依存しないことが示され、強力なサンプル効率を示している。
• 理論的バウンドは $k$ が小さいか $r$ が $d$ に近い場合に、最悪ケースの分散仮定に基づいて導出されるが、実験結果からはバウンドをさらに厳しくできる可能性がある。