[論文レビュー] An eigenanalysis of data centering in machine learning

Paul Honeiné|arXiv (Cornell University)|Jul 10, 2014

Face and Expression Recognition参考文献 64被引用数 12

ひとこと要約

この論文は、カーネルベースの機械学習における中心化済みおよび非中心化データの固有値解析を実施し、中心化の下でのグラム行列の固有値および固有ベクトルの間の数学的関係を導出する。固有値および固有ベクトルの間隔性の性質と境界を確立し、従来のPCA（中心化）と非中心化手法（例：カーネルエントロピー成分分析）の理論的ギャップを埋める。

ABSTRACT

Many pattern recognition methods rely on statistical information from centered data, with the eigenanalysis of an empirical central moment, such as the covariance matrix in principal component analysis (PCA), as well as partial least squares regression, canonical-correlation analysis and Fisher discriminant analysis. Recently, many researchers advocate working on non-centered data. This is the case for instance with the singular value decomposition approach, with the (kernel) entropy component analysis, with the information-theoretic learning framework, and even with nonnegative matrix factorization. Moreover, one can also consider a non-centered PCA by using the second-order non-central moment. The main purpose of this paper is to bridge the gap between these two viewpoints in designing machine learning methods. To provide a study at the cornerstone of kernel-based machines, we conduct an eigenanalysis of the inner product matrices from centered and non-centered data. We derive several results connecting their eigenvalues and their eigenvectors. Furthermore, we explore the outer product matrices, by providing several results connecting the largest eigenvectors of the covariance matrix and its non-centered counterpart. These results lay the groundwork to several extensions beyond conventional centering, with the weighted mean shift, the rank-one update, and the multidimensional scaling. Experiments conducted on simulated and real data illustrate the relevance of this work.

研究の動機と目的

• カーネルベースの機械学習における中心化および非中心化データの理論的・実用的隔たりを解消すること。
• 中心化が主成分分析および関連手法で使用されるグラム行列の固有構造に与える影響を分析すること。
• 中心化および非中心化内積行列の固有値および固有ベクトルを結びつける数学的基盤を提供すること。
• 標準的な中心化を超えて、重み付き平均シフト、ランク1更新、多次元尺度構成への分析を拡張すること。
• 非負のデータや密度推定のような応用分野で、中心化が意味のある情報を破棄する場合に非中心化手法の使用を支援すること。

提案手法

• 行列摂動理論を用いて、中心化グラム行列 $\mathbf{K}_c$ と非中心化 $\mathbf{K}$ 間の固有値の間隔性の性質を導出する。
• $\mathbf{K}_c$ の固有値に対する $\mathbf{K}$ およびデータ平均 $\boldsymbol{\mu}$ を用いた境界を確立する。
• $\mathbf{K}_c$ の上位固有ベクトルと $\mathbf{K}$ の上位固有ベクトルの関係を分析し、$\mathbf{K}_c$ の最大固有ベクトルが分散の捕捉において優位であることを示す。
• スペクトル分解および特異値分解（SVD）を用いて、非中心化および中心化グラム行列の関係を関係づける。
• 重み付き中心化、ランク1更新、多次元尺度構成などの拡張に、変更された行列の固有値分解を適用して結果を適用する。
• シミュレートおよび実データセット（例：iris、バナナ型）を用いた数値実験により、理論的発見の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 中心化グラム行列 $\mathbf{K}_c$ の固有値は、非中心化 $\mathbf{K}$ の固有値とどのように間隔性を示すか？
• RQ2 $\mathbf{K}_c$ の上位固有ベクトルと $\mathbf{K}$ の上位固有ベクトルの関係は何か、特に分散の捕捉という観点でどうか？
• RQ3 中心化は、カーネルベースの手法における固有値および固有ベクトルの分布にどのように影響するか？
• RQ4 $\mathbf{K}$ およびデータ平均 $\boldsymbol{\mu}$ を用いて、$\mathbf{K}_c$ の固有値に対する理論的境界を導出可能か？
• RQ5 非負または歪度のあるデータにおいて、非中心化手法は中心化手法と比較して、情報の保持または損失をどの程度経験するか？

主な発見

• 中心化グラム行列 $\mathbf{K}_c$ と非中心化 $\mathbf{K}$ の固有値は、$i=2,\dots,n$ に対して $\lambda_{\mathrm{c},i} \leq \lambda_i \leq \lambda_{\mathrm{c},i-1}$ の間隔性を満たす。また $\lambda_{\mathrm{c},1} \geq \lambda_1$ である。
• irisデータセット（$n=150$）では、$\mathbf{K}_c$ の最初の $t$ 個の固有値の累積和は、非中心化対応物 $d_i'$ を上回り、$t=n$ で等しくなる。
• バナナ型データセットでは、$\mathbf{K}_c$ の固有値が $\mathbf{K}$ の固有値と間隔性を示し、例えば $10.17 \leq 15.18 \leq 15.23 \leq 26.73 \leq 31.33 \leq 47.61 \leq 47.62 \leq 84.51$ のように並ぶ。
• $\mathbf{K}_c$ の最大固有ベクトルは、$\mathbf{K}$ の任意の固有ベクトルよりも多くの分散を捕捉する。また $\max_i d_i' \leq \lambda_{\mathrm{c},1}$ が成り立ち、$d_i'$ は $\mathbf{K}$ からの調整済み固有値である。
• $\mathbf{K}_c$ と $\mathbf{K}$ の固有ベクトルは、データ平均 $\boldsymbol{\mu}$ および固有ベクトルをすべて1のベクトルに射影する操作を含む変換によって関連づけられる。
• 実験により、非中心化PCAは、非負のデータ（例：高スペクトルアンミキシングや遺伝子発現解析）において、特徴表現を保持あるいは強化することが示された。