[論文レビュー] Pruning nearest neighbor cluster trees

Samory Kpotufe, Ulrike von Luxburg|arXiv (Cornell University)|May 3, 2011

Data Management and Algorithms参考文献 13被引用数 30

ひとこと要約

本稿では、有限標本設定下で偽のクラスタ構造をすべて除去しつつも顕著なクラスタを保持する、k近傍法（k-NN）グラフの新しいプルーニング手法を提案する。k-NN半径が小さい順に点を反復的に削除することで、一貫性がありネストされた部分グラフの階層を構築し、元のデータ分布の真のクラスタツリーを信頼性高く推定する。本手法は、クラスタリングにおけるクラスタツリー回復に関して、初めての有限標本保証を提供する。

ABSTRACT

Nearest neighbor (k-NN) graphs are widely used in machine learning and data mining applications, and our aim is to better understand what they reveal about the cluster structure of the unknown underlying distribution of points. Moreover, is it possible to identify spurious structures that might arise due to sampling variability? Our first contribution is a statistical analysis that reveals how certain subgraphs of a k-NN graph form a consistent estimator of the cluster tree of the underlying distribution of points. Our second and perhaps most important contribution is the following finite sample guarantee. We carefully work out the tradeoff between aggressive and conservative pruning and are able to guarantee the removal of all spurious cluster structures at all levels of the tree while at the same time guaranteeing the recovery of salient clusters. This is the first such finite sample result in the context of clustering.

研究の動機と目的

• 標本のばらつきによって生じる偽のクラスタ構造の同定と除去の課題に対処すること。
• 任意のクラスタツリーのレベルで、すべての偽クラスタを保証的に除去する有限標本プルーニング手順を開発すること。
• 限られたデータでも、顕著な真のクラスタがプルーニングプロセス中に保持されることを保証すること。
• k-NNグラフと単純なプルーニングルールのみを用いて、元のクラスタツリーの一貫性のある推定器を提供すること。
• 真の密度の値の上界を除き、その密度に関する事前知識を必要としない理論的保証を確立すること。

提案手法

• 未知の密度 f からの独立同分布の有限標本から k-NNグラフを構築する。
• k-NN半径（k番目の近傍までの距離）が小さい順に点を反復的に削除することでグラフをプルーニングする。
• 各レベルが k-NN半径の閾値 λ に対応するレベルベースのプルーニングスキームを用い、ネストされた部分グラフの階層を形成する。
• 連結性に関する中心的「補題」を活用し、プルーニング後のグラフ内の連結成分が密度 f の真のレベル集合に対応することを示す。
• 有限標本の集中不等式を用いて、経験的密度推定と真の密度推定の乖離を制御し、耐性を確保する。
• 標本サイズ n と次元 d に基づいて、過剰なプルーニングと真のクラスタの損失のバランスを取るチューニングパラメータ（例：k とプルーニング閾値）を導出する。

実験結果

リサーチクエスチョン

• RQ1 有限標本において、k-NNグラフをどのようにプルーニングすれば、すべての偽クラスタ構造を保証的に除去できるか？
• RQ2 プルーニングされた k-NN グラフが、元の密度の真のクラスタツリーの一貫性のある推定器として成立する条件は何か？
• RQ3 密度に関する事前知識がなくとも、ノイズ除去のための積極的プルーニングと真のクラスタの保持のための慎重なプルーニングのバランスをどのように取れるか？
• RQ4 すべての残存クラスタが、元の密度の実際のレベル集合に対応するという有限標本保証は存在するか？
• RQ5 k-NN グラフに限らず、点の接続性に関する単純な幾何的直観に基づいて、このプルーニング手順を一般化して適用できるか？

主な発見

• プルーニング手順により、残存するすべてのクラスタが真の密度 f のあるレベル集合の連結成分に対応することが保証され、結果としてすべての偽クラスタが除去される。
• 標本サイズ n や次元 d にかかわらず、本手法は顕著なクラスタを保持し、n が増加するにつれて回復度が向上する。
• k-NN グラフの文脈において、クラスタツリー回復に関する初めての有限標本保証を提供する。この保証は、log n ≲ k ≲ n^{1/O(d)} を満たす広範な k の範囲で有効である。
• 連結性補題により、2点が同じ真の連結成分に属し、かつ十分に近ければ、それらの k-NN 半径が十分に小さければ、プルーニング後のグラフでも接続されたまま保たれることが示される。
• 高確率（少なくとも 1−3δ）で、プルーニング後のグラフにおける非連結成分は、真のグラフでも非連結のままである。これは、経験的密度推定が十分に正確である場合に成立する。
• 本手法は真の密度の知識を必要とせず、その値の上界のみを必要とするため、実世界の応用において実用的である。