[論文レビュー] A Tutorial on Principal Component Analysis

Jonathon Shlens|arXiv (Cornell University)|Apr 3, 2014

Blind Source Separation Techniques参考文献 10被引用数 2,265

ひとこと要約

このチュートリアルは PCA を直観的かつ数学的に扱い、共分散、固有ベクトル、特異値分解（SVD）との関係を示し、PCA をいつどのように適用すべきかの指針を提供します。

ABSTRACT

Principal component analysis (PCA) is a mainstay of modern data analysis - a black box that is widely used but (sometimes) poorly understood. The goal of this paper is to dispel the magic behind this black box. This manuscript focuses on building a solid intuition for how and why principal component analysis works. This manuscript crystallizes this knowledge by deriving from simple intuitions, the mathematics behind PCA. This tutorial does not shy away from explaining the ideas informally, nor does it shy away from the mathematics. The hope is that by addressing both aspects, readers of all levels will be able to gain a better understanding of PCA as well as the when, the how and the why of applying this technique.

研究の動機と目的

• 高次元データから意味のある構造を抽出する方法としてのPCAの動機と目標を説明する。
• 玩具の例を通じてPCAの直感を育み、それを線形代数の概念で形式化する。
• データの相関を取り除くことで冗長性を低減し、分散の大きい成分から順に並べる、という点を示す。
• 共分散行列の固有ベクトル分解とSVDを通じてPCAを導出し、より広い数学的視点を提供する。
• データの中心化を含むPCAの実践的な適用方法と結果の解釈を提示する。）

提案手法

• PCAを新しい直交正規基底集合での基底変換として位置づける。
• データ行列Xとその共分散CX = (1/n)XX^Tを定義する；非対角項がゼロとなるPYを求める（対角 CX_Y）。
• 主成分がCXの固有ベクトルであり、CYの対角成分にはそれらの方向に沿った分散が含まれることを導く。
• 等価なSVDベースの解を示す：X = U Σ V^T、ここでVには主成分方向（CXの固有ベクトル）が含まれ、Σには特異値が入る。
• Y = (1/√n) X^T と CX を YY^T で結ぶことにより、PCAとSVDの関係を説明する；CX の固有ベクトルを V の列と関連づける。
• 実践的な計算の手順を提供する：平均を引く、CXを計算する、固有ベクトルを抽出する、分散を解釈する。

実験結果

リサーチクエスチョン

• RQ1 データセット X をその構造を明らかにする基底で再表現する最良の方法は何か。
• RQ2 冗長性を最小化し信号を最大化する良い基底Pの選択とは何か。
• RQ3 データの相関を取り除き、新しい次元を分散の大きさでランク付けして次元削減を行うにはどうすればよいか？
• RQ4 PCAは特異値分解（SVD）とどのように関連し、この関係の含意は何か？
• RQ5 PCAとその結果が実データに対して意味のある洞察を提供するのはどのような前提条件下か？

主な発見

• PCAは共分散行列を対角化する正規直交基底を追求し、最大分散の方向を主成分として明らかにする。
• 主成分は共分散 CX = (1/n)XX^T の固有ベクトルであり、それらの分散は対応する固有値である。
• PCAは固有ベクトル分解またはSVDを介して導出でき、X = UΣV^T で主成分はVに存在する。
• データの中心化（平均を引く）はPCAの前提であり、CYの対角性は成分の相関がなくなることを意味する。
• SVDはPCAのより一般的な枠組みを提供し、X の列空間と行空間を主成分の方向と分散に結びつける。
• このチュートリアルは基底の選択に関する直感、分散を信号の代理指標としての役割、PCAの前提条件を強調する。