[論文レビュー] A comparison of bandwidth selectors for mean shift clustering

José E. Chacón, Pablo Monfort|arXiv (Cornell University)|Oct 29, 2013

Advanced Clustering Algorithms Research被引用数 8

ひとこと要約

この論文は、密度勾配推定のために当初設計された10種類の自動帯域幅選択手法を、平均シフトクラスタリングへの応用について評価しており、特定のモデルにおいて一貫して優れた性能を示す手法は存在しないものの、CVUおよびPIUが多様な密度構造においてバランスの取れた性能と信頼性を示し、最も頑健な選択肢であることが示された。

ABSTRACT

We explore the performance of several automatic bandwidth selectors, originally designed for density gradient estimation, as data-based procedures for nonparametric, modal clustering. The key tool to obtain a clustering from density gradient estimators is the mean shift algorithm, which allows to obtain a partition not only of the data sample, but also of the whole space. The results of our simulation study suggest that most of the methods considered here, like cross validation and plug in bandwidth selectors, are useful for cluster analysis via the mean shift algorithm.

研究の動機と目的

• 密度勾配推定のために開発された自動帯域幅選択手法が、平均シフトクラスタリングの文脈でどの程度の性能を示すかを評価すること。
• 平均シフトアルゴリズムを用いたクラスタリングにおいて、最も正確で安定したクラスタ分割をもたらす帯域幅選択手法を特定すること。
• クラスタリング精度と計算コストの観点から、制約付きと非制約付きの帯域幅行列を比較すること。
• モーダルクラスタリング応用における帯域幅選択の実用的アドバイスを特定すること。

提案手法

• 密度 f とその勾配 Df を推定するために、帯域幅行列 H を用いたカーネルベースの密度および勾配推定器を採用する。
• 正規化された勾配 Df/f を用いて平均シフトアルゴリズムを適用し、繰り返し yj+1 = Σ ωi,H(yj)Xi を用いてクラスタ割り当てを更新する。ここで重み ωi,H はマハラノビス距離に基づく。
• 10種類の帯域幅選択手法を用いる：交差検証（CV, CVU, CVD）、プラグイン法（PI, PIU）、滑らかにした交差検証（SCV, SCVU）、反復法（IT）、および2種類のリファレンスルール（NR, AT）。
• 5つの密度モデル（破れた輪、アイ、2および4つのクレースセンツ、二峰性・三峰性混合）を用いて、測度距離と中央誤差の指標で性能を評価する。
• 異なる密度構造におけるクラスタリング精度とクラスタ数の整合性を比較する包括的なシミュレーションスタディを実施する。
• 精度と計算効率のトレードオフを評価するため、非制約付きおよび対角行列の両方の帯域幅行列を分析する。

実験結果

リサーチクエスチョン

• RQ1 多様な密度形状において、平均シフトアルゴリズム下で最も正確なクラスタリング分割をもたらす帯域幅選択手法は何か？
• RQ2 スカラー（制約付き）と非制約付きの帯域幅行列は、クラスタリング性能と計算コストの観点からどのように比較できるか？
• RQ3 密度勾配推定のために設計された帯域幅選択手法は、モーダルクラスタリングタスクに効果的に適用できるか？
• RQ4 特定のモデル（例：4クレースセンツや三峰性混合）で特定の手法が失敗するのはなぜか？これはその手法の背後にある仮定に何を示唆するか？
• RQ5 平均シフトクラスタリングの一般的な用途において、単一の帯域幅選択手法を推奨できるか？

主な発見

• CVUおよびPIU帯域幅選択手法は、5つの密度モデルのうちそれぞれ1つだけで失敗し、最も一貫した性能を示した。これは、一般用途において最も信頼性が高い選択肢であることを示している。
• 4クレースセンツモデルが最大の挑戦であった。PIUおよびCVUが最も優れた性能を示したが、NRおよびATなどの他の手法は正しいクラスタ数を捉えられなかった。
• 交差検証（CV）およびプラグイン法（PI）は正規混合モデルでは良好に機能したが、4クレースセンツのような複雑な特徴では、クラスタ数を過剰に推定する傾向があった。
• 非制約付き帯域幅行列は、クラスタリング精度において対角行列を常に上回ったが、対角バージョンは特定の状況では同等の性能を示し、顕著な計算コストの低減効果を示した。
• どの単一の帯域幅選択手法も、すべてのモデルで優れた性能を発揮したわけではないため、平均シフトクラスタリングにおける帯域幅選択は、密度勾配推定とは異なる性質を有することが示された。
• 本研究は、凸的かつ単調減少なカーネルプロファイル下で、平均シフトアルゴリズムの上行性（ascending property）が成立することを確認した。これにより、密度推定が系列に沿って収束することが保証される。