[論文レビュー] PCA-Based Out-of-Sample Extension for Dimensionality Reduction

Yariv Aizenbud, Amit Bermanis+1 more|arXiv (Cornell University)|Nov 3, 2015

Sparse and Compressive Sensing Techniques参考文献 21被引用数 15

ひとこと要約

本稿では、局所多様体幾何を活用して、新しいデータポイントを効率的にマッピングするとともに異常値を検出する、次元削減のための新しいPCAに基づくout-of-sample拡張手法を提案する。埋め込みデータの局所PCAを用いて確率的線形システムを構築することで、誤差が有界となり、マハラノビス距離に基づく異常度測度を提供する。合成データおよび実世界データにおいて、Nyström法や他のカーネルベースの手法を凌駕する性能を示す。

ABSTRACT

Dimensionality reduction methods are very common in the field of high dimensional data analysis. Typically, algorithms for dimensionality reduction are computationally expensive. Therefore, their applications for the analysis of massive amounts of data are impractical. For example, repeated computations due to accumulated data are computationally prohibitive. In this paper, an out-of-sample extension scheme, which is used as a complementary method for dimensionality reduction, is presented. We describe an algorithm which performs an out-of-sample extension to newly-arrived data points. Unlike other extension algorithms such as Nyström algorithm, the proposed algorithm uses the intrinsic geometry of the data and properties for dimensionality reduction map. We prove that the error of the proposed algorithm is bounded. Additionally to the out-of-sample extension, the algorithm provides a degree of the abnormality of any newly-arrived data point.

研究の動機と目的

• 大規模で動的に成長するデータセットに対して、次元削減マップを再計算することが計算的に非現実的であるという問題に対処すること。
• データ多様体の内在的幾何を保持する効率的なout-of-sample拡張手法を開発すること。
• 埋め込み空間において、異常または外れ値のデータポイントを自動的に検出できること。
• Nyström法や関連手法で見られる、悪条件なカーネル行列への依存とカーネルパラメータへの感受性を低減すること。
• リプシッツ連続性の仮定の下で、理論的に有界な誤差近似を提供すること。

提案手法

• 本手法は、マップの像の局所PCAを用いて、埋め込みデータの幾何的構造に基づき、各out-of-sampleポイントの局所近傍を構築する。
• これらの近傍を用いて確率的線形システムを定式化し、再構成誤差を幾何的に情報に基づいて最小化する形でout-of-sample拡張を計算する。
• 式 (4.5) から導かれる重みを用い、補間プロセスにおいて近接で幾何的に整合性のあるポイントを強調する。
• 異常値は、式 (2.9) で計算される拡張残差のマハラノビス距離を用いて検出する。これは学習済み多様体からの逸脱度を定量化する。
• Nyström法や幾何的調和関数と比較して、カーネル行列のフル対角化を回避することで、計算コストを低減する。
• リプシッツ連続性の仮定の下で、多スケール補間と誤差解析を通じて、本手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 次元削減のためのout-of-sample拡張を、効率的かつ元の多様体の幾何に忠実に実現する方法は何か？
• RQ2 局所PCAに基づく補間スキームは、リプシッツ連続写像の下で有界な誤差を達成できるか？
• RQ3 out-of-sample拡張プロセス中に、異常データポイントを自動的に検出できるか？
• RQ4 本手法はNyström法や幾何的調和関数と比較して、どのような計算的・数値的利点を有するか？
• RQ5 本手法は、合成データおよび実世界データの両方において、多様体構造をどの程度保持するか？

主な発見

• 提案手法は、異常データポイントに対して顕著に低い残差誤差を達成した。特にデータポイント #51 では、正常点の平均（6.21×10⁻¹⁰）と比較して、残差誤差が2.72×10⁻⁷にまで上昇した。
• マハラノビス距離に基づく異常検出は、DARPAデータセットのラベル付き攻撃ポイントを正しく同定した。特にデータポイント #51 が最大の距離値を示した。
• 元の次元削減マップがリプシッツ連続であるという仮定の下で、out-of-sample拡張の誤差は理論的に有界であることが保証された。
• 視覚的および定量的比較において、本手法はNyström法やMSEベースの拡張を凌駆し、特に馬蹄型多様体構造の保持において優れた性能を示した。
• カーネル行列のフル対角化を回避し、局所PCAによる近傍構築に依存することで、計算複雑度が低減された。
• 本アルゴリズムは、幾何的忠実性を維持しながら、新たなデータポイントへの埋め込みを効果的に拡張し、リアルタイムでの異常検出を可能にした。