[論文レビュー] Fast Estimation of the Median Covariation Matrix with Application to Online Robust Principal Components Analysis

Hervé Cardot, Antoine Godichon‐Baggioni|arXiv (Cornell University)|Apr 11, 2015

Advanced Statistical Methods and Models参考文献 39被引用数 21

ひとこと要約

本稿では、50%の破壊点を有するロバストな多次元分散尺度である中央共分散行列（MCM）の高速推定のための再帰的でオンラインなアルゴリズムを提案する。確率的勾配法と平均化手法を応用することで、メモリ効率が良く、リアルタイムに動作する高次元で汚染されたデータ向けの主成分分析が可能となり、理論的な収束保証が得られ、シミュレーションおよび大規模なテレビ視聴者データセットにおいて、最小共分散行列法や投影追求法を上回ることを示した。

ABSTRACT

The geometric median covariation matrix is a robust multivariate indicator of dispersion which can be extended without any difficulty to functional data. We define estimators, based on recursive algorithms, that can be simply updated at each new observation and are able to deal rapidly with large samples of high dimensional data without being obliged to store all the data in memory. Asymptotic convergence properties of the recursive algorithms are studied under weak conditions. The computation of the principal components can also be performed online and this approach can be useful for online outlier detection. A simulation study clearly shows that this robust indicator is a competitive alternative to minimum covariance determinant when the dimension of the data is small and robust principal components analysis based on projection pursuit and spherical projections for high dimension data. An illustration on a large sample and high dimensional dataset consisting of individual TV audiences measured at a minute scale over a period of 24 hours confirms the interest of considering the robust principal components analysis based on the median covariation matrix. All studied algorithms are available in the R package Gmedian on CRAN.

研究の動機と目的

• 高次元で大標本の設定下で、中央共分散行列（MCM）を効率的に推定する再帰的アルゴリズムの開発。
• すべてのデータを保存せずに、ストリーミングまたは逐次データに適したオンラインでメモリ効率の良い主成分分析を可能にすること。
• MCMの50%の破壊点と有界な総合感度を活用することで、高次元データにおける外れ値に対するロバスト性を向上させること。
• 弱いモーメント条件の下で、再帰的MCMおよび中央値推定量の理論的収束結果を提供すること。
• シミュレーションおよび実世界の高次元データにおいて、既存のロバストPCA手法と比較してMCMの有効性を実証すること。

提案手法

• カーデォットら（2013）の確率的勾配法を、ヒルバート空間における行列の幾何的中央値およびMCMを再帰的に推定するために適応する。
• 再帰的MCM推定量の収束性と精度を向上させるために、ポリャク＝ルッパーツ平均化（Polyak-Ruppert averaging）のステップを導入する。
• MCM推定量が各ステップで非負定値のままであることを保証するように、確率的勾配更新を修正する。
• 各観測値で完全な固有値分解を再計算せずに、ロバストな主成分を計算するためのオンライン固有値分解更新戦略を開発する。
• 小規模データのベースラインとしてワイズフェルトのアルゴリズムを用い、スケーラビリティを高めるために再帰的形に拡張する。
• 消えるステップサイズを用いた二時刻スケールの確率的近似フレームワークを採用し、ほとんど確実な収束および2次モーメントの一致性を保証する。

実験結果

リサーチクエスチョン

• RQ1 すべての観測値を保存せずに、高次元データに対して中央共分散行列（MCM）を効率的に再帰的・オンラインで推定するアルゴリズムを開発できるか？
• RQ2 有限標本における性能に関して、再帰的MCM推定量は最小共分散行列法や投影追求に基づくロバストPCAと比較してどうなるか？
• RQ3 ヒルバート空間における提案された再帰的MCMおよび中央値推定量の理論的収束速度と一貫性の性質は何か？
• RQ4 各ステップで完全なスペクトル分解を再計算せずに、MCMの固有空間をオンラインで更新できるか？
• RQ5 高次元で大規模なデータセットにおいて、外れ値が存在する状況でもMCMに基づくロバストPCAは、古典的手法を上回って主成分を正しく検出できるか？

主な発見

• 弱いモーメント条件の下で、再帰的MCM推定量はほとんど確実かつ2次モーメントの意味で一貫しており、先行研究と比較して収束速度が向上している。
• 平均化ステップにより、再帰的MCM推定量の精度が著しく向上し、有限標本におけるバイアスと分散が低減された。
• 提案手法により、完全な再計算なしに主成分を段階的に更新できるオンラインでメモリ効率の良いロバストPCAが実現された。
• シミュレーションの結果、低次元データでは最小共分散行列法と同等の性能を示し、高次元設定ではそれを上回ることが明らかになった。
• 24時間分の分単位のテレビ視聴者データという実世界の応用において、MCMに基づく手法は汚染と高次元性が存在する中でも、ロバストな主成分を効果的に抽出できた。
• すべてのアルゴリズムはRパッケージGmedianとしてCRANに公開されており、再現性と実用的導入を支援している。