[論文レビュー] Principal component analysis based clustering for high-dimension, low-sample-size data

Kazuyoshi Yata, Makoto Aoshima|arXiv (Cornell University)|Mar 16, 2015

Random Matrices and Applications参考文献 17被引用数 4

ひとこと要約

本稿は、高次元・小標本サイズ（HDLSS）データにおける主成分分析（PCA）を用いたクラスタリングの理論的基盤を確立する。特定の条件下では、次元 d → ∞ のときでさえ、標本サイズ n が固定であっても、標本主成分スコアが幾何学的に一貫しており、k 群に高い確率でデータを分類できることを示している。

ABSTRACT

In this paper, we consider clustering based on principal component analysis (PCA) for high-dimension, low-sample-size (HDLSS) data. We give theoretical reasons why PCA is effective for clustering HDLSS data. First, we derive a geometric representation of HDLSS data taken from a two-class mixture model. With the help of the geometric representation, we give geometric consistency properties of sample principal component scores in the HDLSS context. We develop ideas of the geometric representation and geometric consistency properties to multiclass mixture models. We show that PCA can classify HDLSS data under certain conditions in a surprisingly explicit way. Finally, we demonstrate the performance of the clustering by using microarray data sets.

研究の動機と目的

• 高次元・小標本サイズ（HDLSS）データの文脈においてPCAをクラスタリングに適用するための理論的裏付けを提供すること。
• 次元 d → ∞ で固定された標本サイズ n の下での、HDLSS漸近的状態における標本主成分スコアの幾何的挙動を調査すること。
• 等分散行列を仮定しない多クラス混合モデルにおいて、PCスコアの一貫性特性を確立すること。
• 平均および分散構造に関する明示的な条件の下で、PCAがHDLSSデータを効果的に分類できることを示すこと。
• 実際のマイクロアレイ遺伝子発現データセットを用いて、手法の妥当性を検証すること。

提案手法

• 2クラス混合モデルからHDLSSデータの幾何的表現を導出し、次元が高くなるとデータ点が高次元空間内の明確な方向に集中することを示す。
• 弱いモーメント条件および混合条件の下で、次元 d の増加に伴う標本主成分スコアの幾何学的一貫性特性を導入する。
• 幾何的表現を多クラス混合モデルに適用し、主要なPCスコアが漸近的に母集団を分離することを証明する。
• 全分散共分散行列 Σ の固有値分解と、HDLSS条件下での固有ベクトルおよび固有値の漸近的解析を用いる。
• 2クラス設定において、最初の主成分方向が母平均の差と一致し、d → ∞ のときの収束速度が nη₁η₂ であることを示す。
• ノイズ低減技術と漸近的理論を用いて、非正規かつ非i.i.d.なHDLSS設定下でも、PCスコアおよび方向の一貫した推定器を導出する。

実験結果

リサーチクエスチョン

• RQ1 標本サイズが固定で次元が発散するHDLSSデータにおいて、PCAが固定されたクラスタリングを提供する条件は何か？
• RQ2 次元 d → ∞ のとき、標本主成分スコアは高次元混合モデルにおいてどのように幾何学的に振る舞うか？
• RQ3 多クラスHDLSS混合モデルにおいて、主成分方向が母集団を一貫して分離できるか？
• RQ4 2クラスHDLSS設定における最初のPCスコアの漸近的挙動は何か？また、母平均の差とはどのように関係するか？
• RQ5 マイクロアレイ遺伝子発現データセットのような実世界のHDLSSデータでは、この手法はどのように性能を発揮するか？

主な発見

• 2クラスHDLSSモデルにおいて、最初の主成分スコアは漸近的に2つの母集団を分離する。d → ∞ のとき、正規化されたスコアは確率的に1に収束する。
• 条件1のもとで、主成分の主要方向は母平均の差と一致し、PCスコアは高い確率で母集団の分離を捉える。
• 多クラスモデルでは、主成分スコアが幾何学的に一貫しており、母平均が十分に離れている場合にはk群にデータを分類できる。
• 最大固有値と全分散共分散行列のトレースの比は、d → ∞ のとき1に収束し、集団間分散の優位性を示している。
• 母分散共分散行列が不等であっても、データが正規でなくても、PCAは一貫した分類を達成できる。
• マイクロアレイデータに対する実験的結果から、PCAに基づくクラスタリングはHDLSS設定において生物学的に意味のあるグループを効果的に同定している。