[論文レビュー] Mode-Seeking Clustering and Density Ridge Estimation via Direct Estimation of Density-Derivative-Ratios

Hiroaki Sasaki, Takafumi Kanamori+3 more|arXiv (Cornell University)|Jul 6, 2017

Yersinia bacterium, plague, ectoparasites research参考文献 55被引用数 3

ひとこと要約

本稿では、従来の3段階の密度推定を回避する直接推定量を密度微分比の推定に提案し、モード探索クラスタリングおよび密度リッジ推定に応用する。この手法は、中間段階での密度微分推定に起因する誤差拡散を回避することで、収束速度が向上し、特に高次元設定において既存手法を上回る性能を発揮する。

ABSTRACT

Modes and ridges of the probability density function behind observed data are useful geometric features. Mode-seeking clustering assigns cluster labels by associating data samples with the nearest modes, and estimation of density ridges enables us to find lower-dimensional structures hidden in data. A key technical challenge both in mode-seeking clustering and density ridge estimation is accurate estimation of the ratios of the first- and second-order density derivatives to the density. A naive approach takes a three-step approach of first estimating the data density, then computing its derivatives, and finally taking their ratios. However, this three-step approach can be unreliable because a good density estimator does not necessarily mean a good density derivative estimator, and division by the estimated density could significantly magnify the estimation error. To cope with these problems, we propose a novel estimator for the \emph{density-derivative-ratios}. The proposed estimator does not involve density estimation, but rather \emph{directly} approximates the ratios of density derivatives of any order. Moreover, we establish a convergence rate of the proposed estimator. Based on the proposed estimator, novel methods both for mode-seeking clustering and density ridge estimation are developed, and the respective convergence rates to the mode and ridge of the underlying density are also established. Finally, we experimentally demonstrate that the developed methods significantly outperform existing methods, particularly for relatively high-dimensional data.

研究の動機と目的

• 密度を推定し、その微分を推定し、それらの比を推定するという従来の3段階手法における不安定性、特に推定誤差の拡大を是正すること。
• 密度に対する任意の順序の密度微分比を直接推定する推定量の開発、明示的な密度推定を回避すること。
• 提案された推定量の理論的収束速度と、クラスタリングおよびリッジ推定への応用を確立すること。
• 特に高次元データにおけるモード探索クラスタリングおよび密度リッジ推定の性能を向上させること。
• 提案手法が既存の最先端技術を実験的に上回ることを示すこと。

提案手法

• 再帰的ヒルバート空間（RKHS）におけるカーネルベースのアプローチを用いて、任意の順序の密度微分比を直接推定する。
• 密度推定を回避する推定量を構築することで、3段階プロセスを回避し、誤差拡散を低減する。
• RKHSの再帰的性質を活用し、カーネル微分との内積によって微分比を近似する。
• 密度およびカーネルの正則性条件下で、提案された推定量の収束速度を確立する。
• 推定されたモードへの勾配上昇法を用いたモード探索クラスタリングおよび、部分空間制約下での射影勾配上昇法を用いた密度リッジ推定への応用。
• 計算コストを削減しながら精度を維持するため、カーネル中心を用いた低ランク近似を導入する。

実験結果

リサーチクエスチョン

• RQ1 間接的な3段階手法と比較して、密度微分比の直接推定は、モード探索クラスタリングおよび密度リッジ推定の信頼性を向上させ得るか？
• RQ2 提案された密度微分比推定量の理論的収束速度は何か？
• RQ3 従来手法がしばしば失敗する高次元データにおいて、提案手法はどのように性能を発揮するか？
• RQ4 クラスタリングまたはリッジ推定の精度を損なわずに、直接推定量は計算コストを低減できるか？
• RQ5 実世界および合成データセットにおいて、提案手法は既存の最先端手法を上回る性能を達成できるか？

主な発見

• 提案された密度微分比の直接推定量は、収束速度 $ O_P(n^{- ext{min}ig"){1/4, rac{ u}{2( u+1)}ig")}) $ を達成する。ここで $ \nu $ は滑らかさパラメータである。
• 実験により、特に高次元データにおけるモード探索クラスタリングにおいて、既存手法を顕著に上回ることが示された。3ガウス・ブロブデータセットを用いた実験でその有効性が確認された。
• 密度リッジ推定において、ノイズが多用される高次元設定でも、低次元構造の正確な回復が達成された。
• 低ランク近似（LSLDGC）により、計算コストが顕著に削減されたが、わずかな数のカーネル中心でクラスタリング性能を維持した。
• 実験的結果により、ノイズに対してロバストであり、さまざまなデータ分布および次元において高い精度を維持することが示された。
• 理論的分析により、従来手法の主要な限界である推定密度による除算に起因する誤差拡大を回避できることを確認した。