[論文レビュー] Unsupervised and Supervised Principal Component Analysis: Tutorial

Benyamin Ghojogh, Mark Crowley|arXiv (Cornell University)|Jun 1, 2019

Blind Source Separation Techniques参考文献 43被引用数 19

ひとこと要約

このチュートリアルは、主成分分析（PCA）、教師ありPCA（SPCA）、カーネルPCA、およびカーネルSPCAについて、非教師ありおよび教師あり次元削減技術を網羅的に概説する。投影の定式化、固有値分解とSVDに基づくPCA、双対法およびカーネル法、および訓練データ以外のデータへの拡張について説明し、FreyおよびAT&T顔データセットを用いたシミュレーションにより、理論的原則が実際の応用でどのように裏付けられるかを検証する。

ABSTRACT

This is a detailed tutorial paper which explains the Principal Component Analysis (PCA), Supervised PCA (SPCA), kernel PCA, and kernel SPCA. We start with projection, PCA with eigen-decomposition, PCA with one and multiple projection directions, properties of the projection matrix, reconstruction error minimization, and we connect to autoencoder. Then, PCA with singular value decomposition, dual PCA, and kernel PCA are covered. SPCA using both scoring and Hilbert-Schmidt independence criterion are explained. Kernel SPCA using both direct and dual approaches are then introduced. We cover all cases of projection and reconstruction of training and out-of-sample data. Finally, some simulations are provided on Frey and AT&T face datasets for verifying the theory in practice.

研究の動機と目的

• 非教師ありおよび教師ありPCA、特にカーネルおよび双対定式化を含めた、統一的かつ詳細なチュートリアルを提供すること。
• PCAの数学的基盤（投影、再構成、固有値分解）を明確にし、オートエンコーダーとの関連を示すこと。
• 教師あり次元削減のため、クラスラベルをスコアリングおよびヒルバート＝シュミット独立性基準を介してPCAに統合する方法を説明すること。
• PCAおよびカーネルPCAの両方について、テストデータへの拡張技術を導出し、学習データを超えた一般化を保証すること。
• FreyおよびAT&Tの実世界の顔データセットを用いたシミュレーションを通じて、理論的概念を実証し、実用的応用性を示すこと。

提案手法

• データ行列Uの列空間への直交射影を用いた投影に基づく定式化により、PCAを導出する。この方法では再構成誤差を最小化する。
• 射影行列Π = U(UᵀU)⁻¹Uᵀを導出し、低次元の射影から元のデータを再構成する役割を示す。
• 共分散行列の固有値分解およびデータ行列XのSVDを用いたPCAの導出を行い、両アプローチの数学的同等性を確立する。
• d ≫ nの場合の代替定式化として双対PCAを提示し、n次元空間における双対問題を解く。
• カーネル関数を用いてデータを高次元の特徴空間にマッピングすることで、非線形多様体学習を可能にするカーネル法を適用する。
• カーネルSPCAを、直接的および双対的定式化の両方で導入し、特徴空間における平均除去を処理するためのカーネル行列の中心化を実施する。

実験結果

リサーチクエスチョン

• RQ1 PCAはどのように投影と再構成誤差の最小化フレームワークから導出・解釈できるか？
• RQ2 固有値分解とSVDによるPCAの間の数学的およびアルゴリズム的差異は何か？また、それらはどのように同等であると示せるか？
• RQ3 教師ありPCA（SPCA）は、標準PCAと比較して、どのようにクラスラベルを統合することで次元削減を改善するか？
• RQ4 ヒルバート＝シュミット独立性基準はSPCAにおいて果たす役割は何か？また、スコアリングベースのSPCAアプローチとはどのように異なるか？
• RQ5 カーネル行列の中心化と双対定式化を用いて、どのように学習済みPCAまたはカーネルPCA部分空間に新しいデータ（テストデータ）を射影できるか？

主な発見

• 本稿は、固有値分解、SVD、および双対PCAを含むPCAの複数の定式化を成功裏に導出し、それらの数学的同等性を示した。
• PCAが最小二乗意味での再構成誤差を最小化することに等しいことが示され、最適な射影行列は直交射影により導出された。
• 本チュートリアルは、カーネルPCAが、データを高次元空間にマッピングし、その上で線形PCAを適用することにより、非線形次元削減を可能にすることを示した。
• SPCAに関しては、特徴スコアリング（Bair et al.）とヒルバート＝シュミット独立性基準（Barshan et al.）の2つのアプローチを比較し、後者の方がより原理的で理論的基盤が強いことを示した。
• カーネルPCAのテストデータへの拡張は、学習データ統計を用いてカーネル行列を二重中心化することで達成され、新しいデータポイントを学習済み部分空間に射影可能となった。
• FreyおよびAT&T顔データセットを用いたシミュレーションにより、理論的予測が実際の応用で有効に裏付けられ、効果的な次元削減および再構成性能が確認された。