[論文レビュー] Intrinsic dimension estimation of data by principal component analysis

Mingyu Fan, Nannan Gu+2 more|arXiv (Cornell University)|Feb 10, 2010

Neural Networks and Applications参考文献 24被引用数 23

ひとこと要約

本論文は、データ集合の最小被覆を用い、各部分集合に対して局所的に見直しPCAを適用することで、非線形データにおける内在次元（ID）推定のための新しいPCAベースの手法C-PCAを提案する。この手法は、近隣サイズの変化に関わらず安定的かつ収束するID推定を達成し、ノイズやスパースなデータにおいて従来のPCAおよび他の最先端手法を上回り、全データ利用とノイズ除去機能のおかげで段階的学習が可能になる。

ABSTRACT

Estimating intrinsic dimensionality of data is a classic problem in pattern recognition and statistics. Principal Component Analysis (PCA) is a powerful tool in discovering dimensionality of data sets with a linear structure; it, however, becomes ineffective when data have a nonlinear structure. In this paper, we propose a new PCA-based method to estimate intrinsic dimension of data with nonlinear structures. Our method works by first finding a minimal cover of the data set, then performing PCA locally on each subset in the cover and finally giving the estimation result by checking up the data variance on all small neighborhood regions. The proposed method utilizes the whole data set to estimate its intrinsic dimension and is convenient for incremental learning. In addition, our new PCA procedure can filter out noise in data and converge to a stable estimation with the neighborhood region size increasing. Experiments on synthetic and real world data sets show effectiveness of the proposed method.

研究の動機と目的

• 非線形構造を有するデータの内在次元（ID）推定における従来のPCAの限界を解消すること。
• 近隣サイズの変化に関わらず安定的かつ収束するID推定を実現し、ノイズや外れ値への感受性を低減すること。
• 全データサンプルを効率的に利用してグローバルなID推定を実現するとともに、段階的学習を可能とすること。
• 局所PCAと最小被覆戦略の統合により、幾何学的・統計的ロバスト性を向上させ、既存のID推定手法を改善すること。

提案手法

• まず、データ集合の最小被覆を計算し、多様体上の局所的近傍を表す小さな重複する部分集合に分割する。
• 被覆内の各部分集合に対して、局所的な分散を分析し局所次元を推定するための見直しPCA手順を適用する。
• 見直しPCAは、顕著な固有値に注目することでノイズフィルタリングを実装し、近隣サイズの増大に伴う分散推定の安定化を図る。
• 最終的なID推定値は、すべての部分集合における局所的分散寄与を統合することで得られ、グローバルな整合性と収束性を保証する。
• 本手法は段階的学習に適しており、新規データの到着に伴い効率的な更新が可能である。
• 本手法は推定にあたって全データセットを活用し、任意の部分領域選択に依存しない。

実験結果

リサーチクエスチョン

• RQ1 PCAベースの手法は、非線形データ構造に対して安定的かつ収束する内在次元推定を達成できるか？
• RQ2 提案手法C-PCAは、従来のPCAおよび他の最先端のID推定技術と比較して、ノイズへのロバスト性や外れ値感受性の観点でどのように優れているか？
• RQ3 最小被覆と局所PCAの組み合わせは、近隣サイズの変化にかかわらずID推定の正確性と収束性を向上させるか？
• RQ4 C-PCA手法は、動的データ環境における段階的学習をどの程度サポートできるか？

主な発見

• Sカーブデータセットでは、C-PCAは真の内在次元に近く、収束するID推定値4.7を出力するが、L-PCA や k-NNG は非収束的挙動を示す。
• MNISTの数字'0'データセットでは、C-PCAはIDを5.8と推定し、MLE や k-k/2-NN が推定する10よりもより妥当な値であり、楕円の期待次元と整合的である。
• MNISTの数字'1'データセットでは、C-PCAはIDを5.5と推定し、線分としての期待次元4–5に近く、MLE や k-k/2-NN が推定する7.2 よりも正確である。
• 1次元多様体に外れ値を含む手の回転データセットでは、C-PCAはIDを1.2–1.5と推定し、真値に最も近い。L-PCA や k-NNG はノイズ感受性のため過剰推定している。
• ノイズを含む10-Mobiusデータセットでは、C-PCAが最も正確なID推定値を提供し、MLE、L-PCA、k-NNG はすべて次元を過剰に推定している。
• C-PCA手法は、合成データ、実世界データ、ノイズを含むデータを含む多様なデータタイプにおいて、一貫性のある性能を示し、近隣サイズの変化に関わらずロバストで収束性のある推定を実現している。