[論文レビュー] Clustering for high-dimension, low-sample size data using distance vectors

Yoshikazu Terada|arXiv (Cornell University)|Dec 12, 2013

Bayesian Methods and Mixture Models参考文献 4被引用数 10

ひとこと要約

本稿では、高次元・小標本サイズ（HDLSS）データ向けの新しい手法として、距離ベクトルクラスタリングを提案する。この手法は、類似度に基づくクラスタ構造の検出に代わり、ペアワイズ距離の大きさに着目することで、従来の方法に比べてより信頼性の高いクラスタ検出を実現する。内積行列または距離行列から導出される距離ベクトルを用いることで、MDPクラスタリングよりも緩い条件下でも漸近的に一貫性のあるクラスタリングが達成され、クラスタ間の平均ベクトルおよび分散の違いを線形次元スケーリングで効果的に捉えることができる。

ABSTRACT

In high-dimension, low-sample size (HDLSS) data, it is not always true that closeness of two objects reflects a hidden cluster structure. We point out the important fact that it is not the closeness, but the "values" of distance that contain information of the cluster structure in high-dimensional space. Based on this fact, we propose an efficient and simple clustering approach, called distance vector clustering, for HDLSS data. Under the assumptions given in the work of Hall et al. (2005), we show the proposed approach provides a true cluster label under milder conditions when the dimension tends to infinity with the sample size fixed. The effectiveness of the distance vector clustering approach is illustrated through a numerical experiment and real data analysis.

研究の動機と目的

• 高次元における類似度の誤解を招く性質が、従来のクラスタリング手法がHDLSSデータで失敗する原因となるため、これを是正すること。
• 近さではなく距離の大きさに着目することで、クラスタ構造を信頼性高く検出するクラスタリング手法の開発。
• 平均ベクトルに基づくクラスタリングを超えて、クラスタ間の分散差を捉えること。
• MDPクラスタリングなどの既存手法よりも弱い条件下でも、漸近的ラベル一貫性を保証すること。
• 標準的な距離行列または内積行列を用いる、計算的に効率的で容易に実装可能な手法の提供。

提案手法

• 本手法は、データポイント間のペアワイズ距離または内積から距離ベクトルを構築し、全距離ベクトルを特徴表現として用いる。
• 各点の距離プロファイルを特徴ベクトルとして扱い、距離ベクトル行列に対して標準的なクラスタリング手法（例：k-means、Ward法）を適用する。
• HDLSSにおける距離の大きさの漸近的挙動に依存しており、類似度が正しく反映されない状況でも、クラスタ構造が距離値によって反映されることを活用する。
• 理論的分析により、Hallら（2005）の仮定の下で、次元数p → ∞ かつ標本サイズNが固定のとき、より緩い条件下でも真のクラスタラベルに漸近的に一致することを示した。
• 計算コストは次元数pに対して線形にスケーリングされ、高次元データに実用的である。
• 2つの変種を提案：内積行列を用いるもの（DSKM/DDKM）と距離行列を用いるもの（DSW/DDW）で、両者とも実験的に評価した。

実験結果

リサーチクエスチョン

• RQ1 距離の大きさ、特に類似度ではなく距離の大きさに着目することで、HDLSSデータにおけるクラスタ構造を信頼性高く明らかにできるか？
• RQ2 全距離ベクトルに基づくクラスタリング手法は、HDLSS設定において類似度ベースの手法を上回る性能を示すか？
• RQ3 提案手法は、クラスタ間の平均ベクトルと分散の両方の差を検出できるか？
• RQ4 次元数p → ∞ のとき、距離ベクトルクラスタリングはどのような条件下で漸近的ラベル一貫性を達成するか？
• RQ5 実データおよびシミュレートされたHDLSSデータにおいて、距離ベクトルクラスタリングはMDPクラスタリングや他の標準的手法に比べてどのように性能を発揮するか？

主な発見

• 次元数p → ∞ かつ標本サイズが固定のとき、MDPクラスタリングよりも緩い条件下でも、距離ベクトルクラスタリングは漸近的ラベル一貫性を達成する。
• MDPクラスタリングが平均差のみに注目するのに対し、本手法は平均ベクトルと分散の両方の差を効果的に検出できる。
• 数値実験では、競争力のある性能を示し、距離行列ベースのk-means（DDKM）はコロニーデータで17誤検出、白血病データで1誤検出を記録した。
• 実マクロアレイデータでは、DDKMはリンパ腫（3クラスタ）で1誤検出、前立腺（2クラスタ）で40誤検出を記録し、一部の状況でMDPクラスタリングを上回った。
• クラスタの分散の不均一性に対してもロバストであることが実証され、MDPクラスタリングに比べて分散差への感受性が低かった。
• 計算的に効率的であり、次元数に対して線形スケーリングするため、高次元データへの実用的応用が可能である。