[論文レビュー] Spectrum Estimation from Samples

Weihao Kong, Gregory Valiant|arXiv (Cornell University)|Jan 30, 2016

Random Matrices and Applications被引用数 4

ひとこと要約

本稿では、スペクトルモーメントの正確な回復と Wasserstein 距離の議論を活用して、サブラインアーな数のサンプルから、計算的に効率的なアルゴリズムにより母集団スペクトル（共分散行列の固有値）を推定する手法を提案する。有限標本における境界を確立し、標本サイズが次元よりもはるかに小さい場合でも漸近的整合性を示す。さまざまな分布において強い実験的性能を示す。

ABSTRACT

We consider the problem of approximating the set of eigenvalues of the covariance matrix of a multivariate distribution (equivalently, the problem of approximating the "population spectrum"), given access to samples drawn from the distribution. The eigenvalues of the covariance of a distribution contain basic information about the distribution, including the presence or lack of structure in the distribution, the effective dimensionality of the distribution, and the applicability of higher-level machine learning and multivariate statistical tools. We consider this fundamental recovery problem in the regime where the number of samples is comparable, or even sublinear in the dimensionality of the distribution in question. First, we propose a theoretically optimal and computationally efficient algorithm for recovering the moments of the eigenvalues of the population covariance matrix. We then leverage this accurate moment recovery, via a Wasserstein distance argument, to show that the vector of eigenvalues can be accurately recovered. We provide finite--sample bounds on the expected error of the recovered eigenvalues, which imply that our estimator is asymptotically consistent as the dimensionality of the distribution and sample size tend towards infinity, even in the sublinear sample regime where the ratio of the sample size to the dimensionality tends to zero. In addition to our theoretical results, we show that our approach performs well in practice for a broad range of distributions and sample sizes.

研究の動機と目的

• 標本数が次元と同等またはそれ以下である状況における母集団スペクトル推定の課題に対処すること。
• 限られたサンプルから理論的に最適かつ計算的に効率的なスペクトルモーメント回復のアルゴリズムを開発すること。
• スペクトルモーメントの正確な回復が、Wasserstein 距離を介して全固有値分布の整合的推定を可能にすることを示すこと。
• サブラインアーなサンプル設定（n ≪ d）において、漸近的整合性を保証する有限標本誤差境界を提供すること。
• アイデンティティ、二スパイク、一様、Toeplitz 共分散構造を含む、多様なスペクトル分布において強い実験的性能を示すこと。

提案手法

• 実験では k=7 として最初の k 個のスペクトルモーメントを推定するが、理論的根拠を持つ誤差境界を有するロバストなモーメント推定手順を用いる。
• モーメント回復の正確さに基づいて、真のと推定されたスペクトル分布間の誤差を制限するため、Wasserstein 距離の議論を活用する。
• モーメント問題を逆転させるために重み付き最小二乗法を用い、推定されたモーメントからスペクトル分布を再構築する。
• 各モーメントの誤差境界は、分布の四次モーメントと標本サイズに基づき導出され、i 番目のモーメントに対して O(max(d^{i/2-1},1)/n^{i/2}) のスケーリングを示す。
• アイデンティティ、二スパイク、一様、Toeplitz の4つのスペクトルタイプにアルゴリズムを適用し、すべての設定で一貫した性能を示す。
• 実用的実装では固定された k=7 のモーメントを用いるが、モーメントの安定性に基づく適応的選択の可能性も示唆される。

実験結果

リサーチクエスチョン

• RQ1 次元に対してサブラインアーなサンプル数である場合、母集団スペクトルを正確に回復できるか？
• RQ2 次元に対して小さなサンプル数で、スペクトル推定を整合的に行うことは可能か？
• RQ3 限られたサンプルから、どのようにしてスペクトルモーメントを正確に推定し、その後続のスペクトル再構築を可能にするか？
• RQ4 有限標本において、回復された固有値分布の誤差に対してどのような理論的保証を提供できるか？
• RQ5 本手法の性能は、構造的（例：二スパイク）および連続的（例：一様）な分布を含む、さまざまなスペクトル構造においてどのように変化するか？

主な発見

• 提案手法は、次元と標本サイズがともに増加するサブラインアーな設定（n/d → 0）においても、漸近的整合性を達成する。n ≪ d であっても成立する。
• 真のと推定されたスペクトル分布間の期待 Wasserstein 距離に関する有限標本誤差境界が導出され、0 に収束することが示された。
• 実験的結果では、一様分布や Toeplitz スペクトルといった挑戦的ケースでさえも、すべてのテスト分布において強い性能を示した。n ≤ d であっても同様。
• すべての設定において、推定された CDF は真の母集団 CDF と非常に近く一致し、経験的スペクトルを著しく上回る性能を示した。
• 最初の7つのモーメントのみを用いることで、安定的かつ正確な結果が得られ、テスト範囲内では高次モーメントを追加しても顕著な改善は見られなかった。
• モーメント推定の理論的誤差境界は O(max(d^{i/2-1},1)/n^{i/2}) のスケーリングを示し、高次元・低標本設定における本手法のロバスト性を裏付けた。