[論文レビュー] Feature Selection For High-Dimensional Clustering

Larry Wasserman, Martin Azizyan+1 more|arXiv (Cornell University)|Jun 9, 2014

Bayesian Methods and Mixture Models参考文献 18被引用数 9

ひとこと要約

本稿では、多次元クラスタリングのための非パラメトリック特徴選択手法を提案し、多モーダル性検定とモードベースクラスタリングを組み合わせる。モードクラスタリングのための理論的誤差バインディングを初めて提供し、周辺シグネチャ仮定の下でクラスタリング損失およびハウスドルフ距離に対して厳密なリスク保証を確立する。

ABSTRACT

We present a nonparametric method for selecting informative features in high-dimensional clustering problems. We start with a screening step that uses a test for multimodality. Then we apply kernel density estimation and mode clustering to the selected features. The output of the method consists of a list of relevant features, and cluster assignments. We provide explicit bounds on the error rate of the resulting clustering. In addition, we provide the first error bounds on mode based clustering.

研究の動機と目的

• 分類や回帰とは対照的に、多次元クラスタリングにおける特徴選択の理論的保証が不足している問題に対処する。
• まず、各特徴の周辺分布に対して多モーダル性検定を用いて情報を与えない特徴をスクリーニングする2段階手法を開発する。
• 選択された特徴に対してモードクラスタリングを適用し、密度のモードに基づいてクラスタを特定する。これにより、非パラメトリックで柔軟なアプローチを実現する。
• クラスタリング誤差および真のモードと推定モードの間のハウスドルフ距離に対して明示的なリスクバインディングを提供し、モードベースクラスタリングにおける理論的ギャップを埋める。
• 本手法が高次元設定でも一貫した特徴回復および正確なクラスタリングを達成するための条件を確立する。

提案手法

• 各特徴の周辺分布に対して多モーダル性検定（特にデイプ検定または超過質量検定）を用い、単一モード対多モードの帰無仮説を検証する。
• デイプ統計量が臨界値 $ c_{n, ilde{ heta}} $ を超える場合に帰無仮説を棄却し、$ \tilde{\theta} = \alpha / (nd) $ とすることで、情報を持つ特徴を特定する。
• モード数 $ k_j > 1 $ を満たす特徴の集合 $ R $ を選択し、クラスタリングのための関連特徴サブセットを形成する。
• 選択された特徴に対してバンド幅 $ h $ を用いたカーネル密度推定を実行する：$ \widehat{p}_h(y) = \frac{1}{n} \sum_{i=1}^n \frac{1}{h^r} K\left( \frac{||Y_i - y||}{h} \right) $。
• カーネル密度のモード $ \widehat{\mathcal{M}} $ を推定し、各データポイントを最近傍のモードに割り当てるためにミーンシフトアルゴリズムを適用する。
• 推定モード、クラスタ割り当て、および関連特徴の集合 $ R $ を出力する。クラスタリングはモードの吸引域に基づいて定義される。

実験結果

リサーチクエスチョン

• RQ1 強いパラメトリック仮定やスパarsity仮定に依存せずに、理論的裏付けのある多次元クラスタリングのための特徴選択手法を開発できるか？
• RQ2 クラスタリング損失およびハウスドルフ距離という観点から、モードベースクラスタリングの理論的誤差バインディングは何か？
• RQ3 高次元データにおけるクラスタリングのための関連特徴を特定するうえで、周辺多モーダル性検定はどの程度有効か？
• RQ4 本手法が真の特徴サポートの一致的回復および正確なクラスタリングを達成するための条件は何か？
• RQ5 やや弱い正則性条件の下で、クラスタリング誤差のミニマックス最適性または近似的最適レートを確立できるか？

主な発見

• クラスタリング損失は $ O_p\left( \sqrt{ \frac{\log n}{n h^{s+2}} } \right) $ のオーダーでバインドされ、バンド幅および次元に明示的な依存関係を示す。
• 真のモードと推定モードの間のハウスドルフ距離は $ O_p\left( \sqrt{ \eta_0 } \right) $ でバインドされ、$ \eta_0 $ は密度勾配の推定誤差を捉える。
• デイプ検定の偽陰性率は、サンプルサイズとともに対数的に減少し、$ 1/\alpha $ の対数的レートでパワーが向上することを示唆する。
• シミュレーションでは、本手法が高確率で真の多モーダル特徴のサポートを正しく回復し、すべての誤差は保守的な特徴削除に起因していた（すなわち、$ \widehat{S} \subseteq S $）。
• 理論的バインディングにより、周辺シグネチャ仮定（A4）の下で、$ n \to \infty $ のとき、一貫した特徴選択およびクラスタリングが高確率で達成されることを示した。
• 本稿は、モードベースクラスタリングのための最初のリスクバインディングを提供し、これまでの文献に欠けていた理論的基盤を確立した。