[論文レビュー] Initialization Free Graph Based Clustering

L. Galluccio, Olivier Michel+3 more|ArXiv.org|Sep 24, 2009

Remote-Sensing Image Classification参考文献 47被引用数 3

ひとこと要約

本稿では、K-meansの初期化を不要とするグラフベースのクラスタリング手法を提案する。最小全域木（MST）をプリム法により構築し、そのMSTの辺長の推移を閾値化することで、クラスタ数と重心を推定する。頂点の分布をポアソン過程としてモデル化し、その結果として得られる解析的閾値を用いることで、クラスタモードを検出する。この手法により、事前のクラスタ数や位置の知識がなくても、情報理論的距離（例：Kullback-Leibler発散）を用いた性能向上が、天体物理学的データおよびハイパースペクトル画像において顕著に実現される。

ABSTRACT

This paper proposes an original approach to cluster multi-component data sets, including an estimation of the number of clusters. From the construction of a minimal spanning tree with Prim's algorithm, and the assumption that the vertices are approximately distributed according to a Poisson distribution, the number of clusters is estimated by thresholding the Prim's trajectory. The corresponding cluster centroids are then computed in order to initialize the generalized Lloyd's algorithm, also known as $K$-means, which allows to circumvent initialization problems. Some results are derived for evaluating the false positive rate of our cluster detection algorithm, with the help of approximations relevant in Euclidean spaces. Metrics used for measuring similarity between multi-dimensional data points are based on symmetrical divergences. The use of these informational divergences together with the proposed method leads to better results, compared to other clustering methods for the problem of astrophysical data processing. Some applications of this method in the multi/hyper-spectral imagery domain to a satellite view of Paris and to an image of the Mars planet are also presented. In order to demonstrate the usefulness of divergences in our problem, the method with informational divergence as similarity measure is compared with the same method using classical metrics. In the astrophysics application, we also compare the method with the spectral clustering algorithms.

研究の動機と目的

• クラスタ数やその位置について事前の知識がなくともK-meansクラスタリングを初期化する課題に対処すること。
• 最小全域木（MST）のトポロジカル構造を用いて、多次元データのクラスタ数を推定すること。
• 頂点分布の統計的モデルに基づき、プリム法の推移に統計的最適な閾値を導出する手順を開発すること。
• 情報理論的類似度測度（例：Kullback-Leibler発散）が、多次元成分データのクラスタリング性能に与える影響を評価すること。
• 本手法の有効性を、実世界の天体物理学的およびハイパースペクトル画像データセットに対して検証し、スペクトルクラスタリングや他のベースライン手法を上回ることを示すこと。

提案手法

• データセットに対してプリム法を用いて最小全域木（MST）を構築し、辺長の一次元的推移を生成する。
• 帰無仮説の下でMSTに沿った頂点分布をポアソン過程としてモデル化し、クラスタ検出のための解析的閾値を導出する。
• プリム法の推移における深い谷（辺長の顕著な増加に対応）を検出することでクラスタモードを特定する。
• 検出されたクラスタモードを用いてクラスタ重心を推定し、K-meansの初期化を実行することで、ランダム初期化によるバイアスを回避する。
• 特にKullback-Leibler発散を含む対称的発散度を特徴空間内の類似度測度として採用し、クラスタリング精度を向上させる。
• ハイパースペクトル画像および天体物理学的データに本手法を適用し、計算負荷を軽減しながらクラスタ構造を保持するため、サブサンプリングを用いる。

実験結果

リサーチクエスチョン

• RQ1 多次元データセットにおけるクラスタ数は、最小全域木（MST）のトポロジカル構造から信頼性を持って推定可能か？
• RQ2 MSTのプリム法の推移におけるクラスタ境界を検出するための統計的最適な閾値は、どのように導出可能か？
• RQ3 情報理論的発散度は、古典的距離測度と比較して、ハイパースペクトルおよび天体物理学的データにおけるクラスタリング性能をどの程度向上させるか？
• RQ4 提案手法は、K-meansの初期化を完全に不要としつつ、クラスタリング精度を維持または向上させることができるか？
• RQ5 本手法は、実世界のマルチスペクトルおよび天体物理学的データセットにおいて、スペクトルクラスタリングや他の最先端クラスタリングアルゴリズムと比較して、どの程度の性能を示すか？

主な発見

• 本手法は、ポアソンモデルに基づく帰無仮説の下で導出された閾値を用い、プリム法の推移における谷の検出によってクラスタ数を効果的に推定した。
• Kullback-Leibler発散を類似度測度として用いることで、天体物理学的およびハイパースペクトル画像応用において、古典的距離測度と比較してクラスタリング精度が顕著に向上した。
• 本手法は、参照スペクトルや事前の専門家ラベルが不要なため、wavanglet やベイジアン正の源分離（BPSS）といったエキスパートドリブン手法と同等の結果を達成した。
• 火星のハイパースペクトル画像では、本手法が3つの主要成分（H₂O氷、CO₂氷、ダスト）を正しく同定し、物理的期待と整合する空間的パターン（例：CO₂氷の周辺にH₂O氷が存在）を再現した。
• 大規模な画像のためのデータ駆動型階層的分類とサブサンプリングを用いることで、類似度行列の全計算を回避し、計算負荷を低減した。
• ポアソンモデルを用いることで、クラスタ検出の誤検出率が解析的に上限付きであり、クラスタ推定における理論的収束速度と統計的信頼性が保証された。