[論文レビュー] Non-Gaussian Mixtures for Dimension Reduction, Clustering, Classification, and Discriminant Analysis

Katherine Morris, Paul D. McNicholas|arXiv (Cornell University)|Aug 28, 2013

Bayesian Methods and Mixture Models被引用数 3

ひとこと要約

本稿では、クラスタリング、分類、判別分析における次元削減のための一般化超空間混合モデルを提案する。この手法は、固有値に基づいて順序付けられた元の変数の線形結合を用い、クラスタリングに関連する部分空間を捉える。本手法は非対称クラスタを効果的に扱い、シミュレートされたデータおよび生物学的データの両方で、既存の手法を上回る性能を示し、あらゆる比較において優れた性能を発揮する。

ABSTRACT

We introduce a method for dimension reduction with clustering, classification, or discriminant analysis. This mixture model-based approach is based on fitting general-ized hyperbolic mixtures on a reduced subspace within the paradigm of model-based clustering, classification, or discriminant analysis. A reduced subspace of the data is derived by considering the extent to which group means and group covariances vary. The members of the subspace arise through linear combinations of the original data, and are ordered by importance via the associated eigenvalues. The observations can be projected onto the subspace, resulting in a set of variables that captures most of the clustering information available. The use of generalized hyperbolic mixtures gives a ro-bust framework capable of dealing with skewed clusters. Although dimension reduction is increasingly in demand across many application areas, the authors are most familiar with biological applications and so two of the three real data examples are within that sphere. Simulated data are also used for illustration. The approach introduced herein can be considered the most general such approach available, and so we compare re-sults to three special and limiting cases. We also compare with well several established techniques. Across all comparisons, our approach performs remarkably well.

研究の動機と目的

• クラスタリング、分類、判別分析を統合したモデルベースのアプローチにおいて、次元削減のための統一的フレームワークを構築すること。
• 高次元データにおける非対称的・非正規分布のクラスタ構造を扱えない既存手法の限界を克服すること。
• グループの平均および分散の変動を分析することで、元のデータに存在する大部分のクラスタリング情報を保持する低次元部分空間を同定すること。
• 提案手法を一般化超空間モデルの3つの特殊ケースおよび複数の確立された手法と比較し、その頑健性と有効性を検証すること。
• 本手法の実世界の生物学的応用における実用性を、シミュレートされたデータのシナリオとともに示すこと。

提案手法

• 本手法は、関連する固有値に基づいて重要度順に並べた元の変数の線形結合を通じて、低次元部分空間を導出する。
• グループの平均およびグループの分散共分散を分析し、変動の度合いを評価することで、低次元部分空間の構築を指針とする。
• 一般化超空間混合モデルを低次元部分空間に適合させ、複雑で非対称なクラスタ分布を頑健にモデル化する。
• 観測値を低次元部分空間に射影することで、主要なクラスタリング情報を保持する低次元表現が得られる。
• モデルベースのクラスタリング、分類、判別分析の枠組みに本手法を統合し、一貫性のある統計的推論を可能にする。
• 本手法は、一般化超空間モデルの3つの極限ケースおよび複数のwell-establishedな手法と比較され、性能が評価される。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、クラスタリング、分類、判別分析を統合したモデルベースのフレームワークにおいて、次元削減を効果的に組み合わせることができるか？
• RQ2 一般化超空間混合モデルを用いることで、ガウス分布に基づく代替手法と比較して、非対称的・非正規分布のクラスタ構造に対する性能がどの程度向上するか？
• RQ3 提案手法は、一般化超空間モデルの3つの特殊ケースおよび確立された次元削減・分類手法と比較して、性能的にどの程度優れているか？
• RQ4 グループの平均および分散の変動に基づく部分空間選択が、クラスタリングの正確性および解釈可能性に与える影響は何か？
• RQ5 特に生物学的応用を含む実世界のシナリオにおいて、本手法は既存の手法に比べてどのような実用的利点を示すか？

主な発見

• 提案手法は、あらゆる比較において顕著な優れた性能を発揮し、一般化超空間モデルの特殊ケースおよび確立された手法を上回っている。
• 一般化超空間混合モデルの使用により、標準的なガウス分布ベースの手法が効果的に捉えられない非対称クラスタを頑健にモデル化できる。
• 固有値に基づいて順序付けられた線形結合から導かれる低次元部分空間は、元のデータに存在する大部分のクラスタリング情報を効果的に捉えている。
• 本手法は、シミュレートされたデータおよび2つの実際の生物学的データセットの両方で強く実証された性能を示し、実用的有用性を確認している。
• 比較結果から、一般モデルがその極限ケースよりも一貫して優れていることが示され、その完全な複雑性の必要性が裏付けられている。
• 本フレームワークは、現在入手可能な最も包括的なアプローチであり、多変量解析タスクにおける次元削減の包括的解決策を提供している。