[論文レビュー] High-dimensional cluster analysis with the Masked EM Algorithm

Shabnam Kadir, Dan F. M. Goodman+1 more|arXiv (Cornell University)|Sep 11, 2013

Bayesian Methods and Mixture Models参考文献 13被引用数 14

ひとこと要約

本稿では、各データポイントごとに情報を持つ特徴量のサブセットのみが関連する高次元クラスタリング解析のためのマスク付きEMアルゴリズムを提案する。各データポイントごとに特徴量に実数値のマスクを割り当て、未観測の特徴量を部分閾値分布でモデル化することで、計算コストを低減し、過学習を回避する。この手法は、スパイクソーティング応用において理論的最適に近い性能を達成する。

ABSTRACT

Cluster analysis faces two problems in high dimensions: first, the `curse of dimensionality' that can lead to overfitting and poor generalization performance; and second, the sheer time taken for conventional algorithms to process large amounts of high-dimensional data. In many applications, only a small subset of features provide information about the cluster membership of any one data point, however this informative feature subset may not be the same for all data points. Here we introduce a `Masked EM' algorithm for fitting mixture of Gaussians models in such cases. We show that the algorithm performs close to optimally on simulated Gaussian data, and in an application of `spike sorting' of high channel-count neuronal recordings.

研究の動機と目的

• 各データポイントに対してほとんど特徴量が情報を持たない高次元クラスタリング解析における次元の呪いに対処すること。
• 特徴量空間が大きい高次元設定において、従来のEMアルゴリズムが計算的に非現実的であるのを克服すること。
• グローバルな特徴量選択ではなく、データポイントごとに特徴量の重要性を適応的に変化させる手法を開発すること。
• 特に神経生理学的スパイクソーティングにおいて、数百万件の高次元データポイントの高速かつスケーラブルなクラスタリングを可能にすること。
• しきい値処理による人工的なクラスタ分割を回避するため、滑らかで実数値のマスクと仮想の部分閾値分布を用いること。

提案手法

• アルゴリズムは2段階で動作する：まず、各データポイントに対して、各特徴量の相対的重要性を示すマスクベクトルをヒューリスティックに計算する。
• マスク値は実数値であり、分野固有の知識（例えば、電極間での神経スパイク検出の空間的連続性）から導出される。
• EM段階では、各データポイントが仮想混合分布としてモデル化される。観測された特徴量値と、マスクで重み付けされた部分閾値ノイズ分布が組み合わされる。
• 仮想混合分布における期待値を解析的に計算することで、サンプリングを回避し、計算を効率化する。
• クラスタ割り当ては、マスク処理された仮想データ表現を用いたEMにより更新され、各クラスタごとに共分散行列が推定される。
• この手法は、全特徴量数ではなく、各ポイントでマスクされていない特徴量数に比例してスケーリングされ、パrameter数と実行時間の両方を削減する。

実験結果

リサーチクエスチョン

• RQ1 高次元データにおいて、各データポイントに対して情報を持つ特徴量が少数である場合、クラスタリング解析を計算的に現実可能にする方法は何か？
• RQ2 データポイントに特化した特徴量重み付け戦略は、高次元クラスタリングにおいてグローバル特徴量選択を上回る性能を発揮できるか？
• RQ3 マスクされた特徴量に仮想の部分閾値分布を用いることで、しきい値処理による人工的なクラスタ分割を防止できるか？
• RQ4 マスク付きEMアルゴリズムは、高次元スパイクソーティングにおいて理論的最適に近い性能を達成できるか？
• RQ5 本アルゴリズムは、実際の神経生理学的記録におけるノイズや重複スパイクに対して頑健であるか？

主な発見

• マスク付きEMアルゴリズムは、ハイブリッドスパイクデータに対するSVMベースの交差検証により、理論的上限に非常に近い性能を達成した。
• 古典的EMは高次元設定（96特徴量）では失敗するが、ハイブリッドスパイクごとに9つの未マスク特徴量に制限すると、上限に近い性能を示した。
• マスク付きEMは96次元のデータに対しても高い精度を維持し、次元の呪いに対する頑健性を示した。
• しきい値処理による人工的クラスタ分割は観察されず、実数値のマスクと仮想の部分閾値分布により、責任値の更新が滑らかに保たれた。
• 本手法は効率的にスケーリングされ、計算コストとパrameter数が、全特徴量数ではなく、各データポイントでマスクされていない特徴量数に依存する。
• 実際のハイブリッドスパイクデータにおける性能評価では、本手法は重複スパイクや欠損データを効果的に処理し、誤発見率と真正陽性率の両面で古典的EMを上回った。