[論文レビュー] Clustering Via Nonparametric Density Estimation: the R Package pdfCluster

Adelchi Azzalini, Giovanna Menardi|arXiv (Cornell University)|Jan 28, 2013

Bayesian Methods and Mixture Models参考文献 14被引用数 18

ひとこと要約

この論文では、カーネル密度推定を用いた非パラメトリック密度推定を用いてクラスタリング分析を実行するRパッケージpdfClusterを紹介する。クラスタをデータ内の高密度領域として特定することで、クラスタの形状に関するパラメトリックな仮定を回避し、多次元スケーリングおよび適応的帯域幅選択を用いて、連続データおよび混合型データの両方に対して頑健な性能を示す。

ABSTRACT

The R package pdfCluster performs cluster analysis based on a nonparametric estimate of the density of the observed variables. After summarizing the main aspects of the methodology, we describe the features and the usage of the package, and finally illustrate its working with the aid of two datasets.

研究の動機と目的

• クラスタの形状に関する特定のパラメトリック形式を仮定しない柔軟な非パラメトリッククラスタリング手法の開発を目的とする。
• カーネル密度推定を用いた密度ベースクラスタリングを実装するユーザーフレンドリーなRパッケージpdfClusterの開発を目的とする。
• 多次元スケーリングを用いて、混合型データ（連続変数およびカテゴリカル変数）への密度ベースクラスタリングの適用範囲を拡張することを目的とする。
• 適応的帯域幅選択およびグラフベースの階層的クラスタリングを用いて、頑健で効率的なクラスタリングを提供することを目的とする。
• 実データセット、特に混合変数を含む植物形態特徴データセットを用いた、手法の性能を示すこと

提案手法

• 多次元データの潜在的密度を非パラメトリックに推定するためにカーネル密度推定を用いる。
• 推定された密度のレベルセットを用いて、高密度ポイントの連結領域としてクラスタを特定する。
• 密度モードの階層的クラスタリングのためのグラフ構造をデローニー三角形分割を用いて構築する。
• データ密度の変動する領域での密度推定の改善を図るため、適応的帯域幅選択を採用する。
• Gower不相似度を用いた多次元スケーリング（MDS）により、混合型データを連続座標に変換する。
• 得られたMDS座標をpdfClusterアルゴリズムの入力として用い、混合データへの適用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 特定のパラメトリック形式を仮定しない非パラメトリック密度推定を、クラスタの形状に制限を設けずに効果的にクラスタを同定するためにどのように活用できるか？
• RQ2 従来の距離ベースの手法が直接適用できない混合型データにおいて、密度ベースクラスタリングの性能はいかがなものか？
• RQ3 帯域幅の選択（グローバル vs. 適応的）が、クラスタの安定性および正確性の観点でクラスタリングの結果に与える影響は何か？
• RQ4 pdfClusterパッケージは、Rにおける密度ベースクラスタリングに対して信頼性があり、効率的かつ拡張可能なソリューションを提供できるか？
• RQ5 実世界のデータセットにおいて、pdfClusterの結果は、既存の距離ベースクラスタリング手法と比較してどのように異なるか？

主な発見

• pdfClusterパッケージは、植物形態特徴データセットにおいて2つの主要なクラスタを効果的に同定した。そのうち1つのクラスタには136件の観測のうち128件が含まれていた。
• わずか8件の観測からなる小さなクラスタが検出された。これは、まれなグループや外れ値グループの同定可能性を示唆している。
• 適応的帯域幅選択とグローバルスムージングを用いることで、特に低密度領域においてクラスタリングの安定性が向上した。
• pdfClusterのクラスタリング結果は、距離ベース手法であるagnes（ward）連結法による6クラスタ解と強く一致しており、特にクラスタ{1,3,5,6}と{2,4}が同定された。
• 特に大規模データセットにおいて、事前に計算されたグラフ構造を再利用することで、パッケージの計算効率が顕著に向上した。