[論文レビュー] Nearest Descent, In-Tree, and Clustering

Teng Qiu, Kai-Fu Yang+2 more|arXiv (Cornell University)|Dec 7, 2014

Advanced Clustering Algorithms Research被引用数 3

ひとこと要約

本稿では、物理的インスピレーションを受けて考案された「最近接下降（Nearest Descent, ND）」と呼ばれる規則に基づく、グラフ理論的クラスタリング手法を提案する。この手法は、勾配の最も急な下り坂方向に親ノードを逐次選択することで、インツリー（In-Tree）を構築する。クラスタリングは、インツリーからわずかに特徴的な辺を削除することで実現され、多様なデータ形状や高次元データセットにおいて、高い精度で自動的またはインタラクティブなクラスタ検出を可能にする。

ABSTRACT

In this paper, we propose a physically inspired graph-theoretical clustering method, which first makes the data points organized into an attractive graph, called In-Tree, via a physically inspired rule, called Nearest Descent (ND). In particular, the rule of ND works to select the nearest node in the descending direction of potential as the parent node of each node, which is in essence different from the classical Gradient Descent or Steepest Descent. The constructed In-Tree proves a very good candidate for clustering due to its particular features and properties. In the In-Tree, the original clustering problem is reduced to a problem of removing a very few of undesired edges from this graph. Pleasingly, the undesired edges in In-Tree are so distinguishable that they can be easily determined in either automatic or interactive way, which is in stark contrast to the cases in the widely used Minimal Spanning Tree and k-nearest-neighbor graph. The cluster number in the proposed method can be easily determined based on some intermediate plots, and the cluster assignment for each node is easily made by quickly searching its root node in each sub-graph (also an In-Tree). The proposed method is extensively evaluated on both synthetic and real-world datasets. Overall, the proposed clustering method is a density-based one, but shows significant differences and advantages in comparison to the traditional ones. The proposed method is simple yet efficient and reliable, and is applicable to various datasets with diverse shapes, attributes and any high dimensionality

研究の動機と目的

• 任意のデータ形状や高次元性に強く、耐性のあるクラスタリング手法の開発。
• k-means や DBSCAN などの従来のクラスタリング手法が、複雑で非球形のクラスタを処理する際の限界を克服すること。
• 中間の可視化を通じて、クラスタ数を簡単に特定できる手法の提供。
• 部分木におけるルート探索によって、効率的かつ信頼性の高いクラスタ割り当てを実現すること。
• クラスタ境界検出の複雑さを、構造化されたグラフ上でのスパースな辺の削除問題に変換することで低減すること。

提案手法

• 各ノードが、勾配の最も急な下り坂方向にある最近接ノードを親として選択する「Nearest Descent (ND)」規則を適用し、インツリーを構築する。
• データ点の密度に基づくポテンシャル関数を用いて下降プロセスをガイドすることで、階層的組織を確保する。
• 連結成分ごとに1つのルートを持つ有向無閉路グラフ（DAG）としてインツリーを構築し、トポロジカル構造を保持する。
• 構造的およびトポロジカルに明確に区別できる「不適切な」辺（異なるクラスタを接続する辺）を同定し、それらを削除する。
• 各ノードをインツリー内でそのルートにたどるプロセスによりクラスタ割り当てを実行し、各ルートが別個のクラスタを表す。
• 中間のプロット（例：辺の重み分布や木の深さプロファイル）を用いて、最適なクラスタ数の自動的またはインタラクティブな決定を支援する。

実験結果

リサーチクエスチョン

• RQ1 物理的インスピレーションを受けて考案されたグラフ構築規則（Nearest Descent）は、クラスタリングに適した階層的構造を生成できるか？
• RQ2 従来のグラフ（MST や k-NN）と比較して、インツリー内におけるクラスタを分離する不適切な辺は、信頼性高く明確に識別できるか？
• RQ3 本手法は、事前の知識なしに、自動的かつ正確にクラスタ数を特定できるか？
• RQ4 本手法は、複雑で非球形、あるいは高次元のクラスタ構造を有するデータセットにおいて、どのように性能を発揮するか？
• RQ5 インツリー構造における単純なルート探索によって、クラスタ割り当てプロセスは効率的に計算可能か？

主な発見

• インツリー構造は、データの内在的なクラスタ階層を効果的に捉えており、正確かつ効率的なクラスタ割り当てを可能にする。
• クラスタを分離する不適切な辺は、インツリー内ですでに顕著に特徴づけられており、最小限の人的またはアルゴリズム的介入で信頼性高く削除可能である。
• 中間の構造的プロット（辺の重み分布や深さ分布など）の分析により、クラスタ数が自動的に特定可能である。
• 不規則な形状や高次元性を有する多様なデータセットにおいて、高いクラスタリング精度を達成している。
• 複雑なデータ分布において、従来の密度ベースのクラスタリング手法に比べ、本手法は耐性と一貫性に優れている。
• インツリーのスパarsity と木構造におけるルート探索の効率性により、計算コストが低く抑えられている。