[論文レビュー] Hypothesis testing for eigenspaces of covariance matrix

I.N. Silin, Jianqing Fan|arXiv (Cornell University)|Feb 23, 2020

Matrix Theory and Algorithms参考文献 35被引用数 8

ひとこと要約

本稿では、スペクトル射影子を用いた共分散行列の固有空間に対する新しい仮説検定フレームワークを提案する。特化した行列ノルムと計算効率の良いリサンプリング手法を活用することで、第1種の誤りの制御が向上し、理論的保証も強く得られ、1標本および2標本の両設定において、先行手法を著しく上回る性能を発揮する。

ABSTRACT

Eigenspaces of covariance matrices play an important role in statistical machine learning, arising in variety of modern algorithms. Quantitatively, it is convenient to describe the eigenspaces in terms of spectral projectors. This work focuses on hypothesis testing for the spectral projectors, both in one- and two-sample scenario. We present new tests, based on a specific matrix norm developed in order to utilize the structure of the spectral projectors. A new resampling technique of independent interest is introduced and analyzed: it serves as an alternative to the well-known multiplier bootstrap, significantly reducing computational complexity of bootstrap-based methods. We provide theoretical guarantees for the type-I error of our procedures, which remarkably improve the previously obtained results in the field. Moreover, we analyze power of our tests. Numerical experiments illustrate good performance of the proposed methods compared to previously developed ones.

研究の動機と目的

• 現代の機械学習応用における固有空間のための厳密な統計的推論の欠如に対処する。
• 1標本および2標本の両状況におけるスペクトル射影子の仮説検定を構築する。
• 従来のブートストラップ手法の計算上のボトルネックを克服するため、新しいリサンプリング手法を開発する。
• 従来の結果を著しく上回る、第1種の誤りの制御に関する理論的保証を提供する。
• 高次元データにおける主成分および低次元部分空間の不確実性評価を可能にする。

提案手法

• スペクトル射影子の構造に特化した、特別な行列ノルムに基づく仮説検定を定式化する。
• 標準のマルチプライヤーブートストラップよりも計算複雑性を低減する新しいリサンプリング手順を導入する。
• デイビス＝カハンの不等式を用いて、実証的射影子と真の射影子との乖離を制限する。
• 高次元漸近的条件下でのスペクトル射影子の推定誤差に対する理論的バインディングを確立する。
• 新しいリサンプリング手法を用いて、検定統計量の帰無分布を計算コストを抑えて近似する。
• 弱いモーメント条件の下で、スペクトル射影子推定量の非漸近的集中不等式を導出する。

実験結果

リサーチクエスチョン

• RQ1 高次元設定下で、共分散行列のスペクトル射影子に対する有効な仮説検定をどのように構築できるか？
• RQ2 仮説検定において、固有空間の幾何的構造を捉える最適な行列ノルムは何か？
• RQ3 マルチプライヤーブートストラップに比べて計算コストを著しく削減しつつ、精度を維持できるリサンプリング手法を開発できるか？
• RQ4 次元と標本サイズが増大する高次元漸近的条件下で、提案手法の第1種の誤りの制御はどのように行われるか？
• RQ5 局所代替仮説下での提案手法の検出力の挙動は何か？また、既存手法と比較してどのように異なるか？

主な発見

• 提案手法は、従来の手法と比較して第1種の誤りの制御が向上しており、理論的保証も従来の結果を著しく上回る。
• 新しいリサンプリング手法により、ブートストラップに基づく推論の計算複雑性が低減されつつも精度を維持でき、マルチプライヤーブートストラップの実用的代替手段を提供する。
• 理論的解析により、帰無仮説下で検定統計量がカイ二乗分布に収束し、収束速度の明示的バインディングが得られた。
• 数値実験により、既存の手法と比較して、実効的パワーとサイズの正確性の両面で提案手法が優れた性能を示した。
• このフレームワークは、スペクトルギャップと有効次元に依存するレートで、スペクトル射影子推定量の非漸近的集中を達成する。
• 主成分分析、因子モデル、スペクトルクラスタリングなど、固有空間推論が重要な多くの問題に適用可能である。