[論文レビュー] Clustering via Mode Seeking by Direct Estimation of the Gradient of a Log-Density

Hiroaki Sasaki, Aapo Hyvärinen+1 more|arXiv (Cornell University)|Apr 20, 2014

Anomaly Detection Techniques and Applications参考文献 21被引用数 11

ひとこと要約

本稿では、カーネル密度推定（KDE）に頼らない信頼性の低い手法を回避するため、最小二乗最適化を用いて対数密度の勾配を直接推定する、新たなモード探索型クラスタリング手法であるLSLDGクラスタリングを提案する。この手法は、ハイパーパramータの手動チューニングを必要とせず、特に高次元データにおいても、平均シフト法や既存のクラスタリング手法を上回る高い精度を達成する。

ABSTRACT

Mean shift clustering finds the modes of the data probability density by identifying the zero points of the density gradient. Since it does not require to fix the number of clusters in advance, the mean shift has been a popular clustering algorithm in various application fields. A typical implementation of the mean shift is to first estimate the density by kernel density estimation and then compute its gradient. However, since good density estimation does not necessarily imply accurate estimation of the density gradient, such an indirect two-step approach is not reliable. In this paper, we propose a method to directly estimate the gradient of the log-density without going through density estimation. The proposed method gives the global solution analytically and thus is computationally efficient. We then develop a mean-shift-like fixed-point algorithm to find the modes of the density for clustering. As in the mean shift, one does not need to set the number of clusters in advance. We empirically show that the proposed clustering method works much better than the mean shift especially for high-dimensional data. Experimental results further indicate that the proposed method outperforms existing clustering methods.

研究の動機と目的

• 平均シフトクラスタリングの限界を解消すること。平均シフト法は、カーネル密度推定（KDE）を介した間接的な密度勾配推定に依存しており、高次元では性能が著しく低下する。
• KDEに基づく二段階的手法を避ける、直接的で非パラメトリックな対数密度勾配推定法を開発すること。
• クラスタ数を事前に指定する必要がないという平均シフト法の利点を継承するクラスタリングアルゴリズムを構築すること。
• カーネル幅や正則化パラメータなどのチューニングパラメータを、交差検証を用いた客観的な最適化により自動化し、手動でのハイパーパrameter選択を排除すること。
• 特に高次元データ環境下で、平均シフト法や他の標準的手法を上回る優れた性能を示すことを実証すること。

提案手法

• 最小二乗対数密度勾配（LSLDG）を提案。これは、最小二乗損失関数を用いて、データポイントを中心とするカーネル関数の線形結合として対数密度勾配を直接推定する非パラメトリック手法である。
• 再生核ヒルバート空間（RKHS）フレームワークを用い、対数密度勾配をデータポイントに中心を持つカーネル関数の線形結合としてモデル化する。
• 推定された対数密度勾配と真の勾配の期待二乗誤差を最小化することで、勾配推定器の閉形式解を導出する。
• 固定点反復法を導入し、平均シフトと同様にモード探索型クラスタリングを実現。これにより、事前のクラスタ数の指定なしにモードを探索可能となる。
• 勾配推定の平均二乗誤差に基づき、交差検証を用いてガウスカーネル幅と正則化パラメータを客観的にチューニングする。
• 次元間で係数を共有することで、高次元データに適応し、計算コストを低減しながらも精度を維持する。

実験結果

リサーチクエスチョン

• RQ1 対数密度勾配の直接推定は、従来の二段階KDEベースの手法に比べ、勾配の精度とクラスタリング性能において優れているか？
• RQ2 LSLDG手法は、KDEベースの手法（例：平均シフト）が通常失敗する高次元データにおいても、ロバストで効率的であるか？
• RQ3 LSLDGクラスタリング手法は、K-means、スペクトルクラスタリング、ガウス平均シフトなどの最先端手法に比べ、優れたクラスタリング精度を達成できるか？
• RQ4 LSLDGにおけるチューニングパラメータは、交差検証を用いて客観的に最適化可能であり、手動でのハイパーパrameter選択を排除できる程度にまで到達するか？
• RQ5 画像セグメンテーションやセンサー／音声データのクラスタリングといった実世界の応用において、LSLDGクラスタリングの性能は平均シフト法に比べてどの程度優れているか？

主な発見

• 画像セグメンテーションにおいて、LSLDGクラスタリングは調整済みランダ指数（ARI）の平均値が0.13（±0.06）を達成し、平均シフト法の0.08（±0.03）を統計的に1%水準で有意に上回った。
• 加速度計データ（d=5）において、LSLDGクラスタリングはARIが0.61（±0.13）を達成し、K-means（0.50±0.03）、スペクトルクラスタリング（0.20±0.26）、平均シフト（0.51±0.05）を上回った。
• 高次元音声データ（d=50）において、LSLDGはARIが0.13（±0.02）を達成したのに対し、K-means、スペクトルクラスタリング、平均シフトはいずれも0.00を記録した。これは、LSLDGが高次元設定において顕著な優位性を示していることを示している。
• この手法は計算的にも効率的であり、K-means やスペクトルクラスタリングとは異なり、クラスタ数やその他のハイパーパrameterの手動チューニングを必要としない。
• 直接勾配推定アプローチにより、KDEベース手法で一般的に見られるモードの過剰に平坦化する問題を回避し、高次元でもマルチモーダル構造を保持できる。
• 提案手法は、画像、加速度計、音声データなど多様なデータタイプにわたりロバストであり、ベースライン手法に比べて一貫した性能向上を示した。