[論文レビュー] Factorial PD-Clustering

Cristina Tortora, Francesco Palumbo+1 more|arXiv (Cornell University)|May 6, 2011

Advanced Clustering Algorithms Research参考文献 6被引用数 1

ひとこと要約

階乗PDクラスタリングは、Tucker 3分解と確率的距離（PD）クラスタリングを統合することで、高次元データに対して次元削減と同時にクラスタリングを実行する。変換されたデータに対してTucker 3分解とPDクラスタリングを繰り返し適用することにより、大規模なデータセットにおける計算効率、安定性、耐障害性が向上し、共通の最適化基準によって収束を達成する。

ABSTRACT

Factorial clustering methods have been developed in recent years thanks to the improving of computational power. These methods perform a linear transformation of data and a clustering on transformed data optimizing a common criterion. Factorial PD-clustering is based on Probabilistic Distance clustering (PD-clustering). PD-clustering is an iterative, distribution free, probabilistic, clustering method. Factorial PD-clustering make a linear transformation of original variables into a reduced number of orthogonal ones using a common criterion with PD-Clustering. It is demonstrated that Tucker 3 decomposition allows to obtain this transformation. Factorial PD-clustering makes alternatively a Tucker 3 decomposition and a PD-clustering on transformed data until convergence. This method could significantly improve the algorithm performance and allows to work with large dataset, to improve the stability and the robustness of the method.

研究の動機と目的

• 大規模で高次元のデータセットのクラスタリングを、計算効率と耐障害性を向上させながら解決すること。
• 共通の最適化基準を用いて、次元削減とクラスタリングを統合されたフレームワークに統合すること。
• Tucker 3分解による直交変換を活用することで、PDクラスタリングの安定性とパフォーマンスを向上させること。
• Tucker 3分解による反復的データ変換とクラスタ割り当ての改善を通じて、大規模データセットにおける効果的なクラスタリングを可能にすること。

提案手法

• この手法は、元の変数を直交成分の低次元セットに変換するためにTucker 3分解を適用する。
• データのTucker 3分解と変換された成分におけるPDクラスタリングの間を交互に実行する。
• 両ステップにおいて共通の基準を最適化することで、次元削減とクラスタリングの目的の整合性を保証する。
• 分解とクラスタリングの両方のコンポonentで収束が達成されるまで反復処理を継続する。
• PDクラスタリングは、分布に依存しない、確率的で反復的な性質があるため、クラスタリングエンジンとして使用される。
• Tucker 3分解の数学的構造を活用することで、データの直交的かつ低ランクの表現を保証する。

実験結果

リサーチクエスチョン

• RQ1 Tucker 3分解をPDクラスタリングと効果的に組み合わせることで、高次元データにおけるクラスタリング性能が向上するか？
• RQ2 次元削減とクラスタリングの間で反復的に入れ替える処理が、収束性と安定性に与える影響はいかほどか？
• RQ3 標準的なクラスタリング手法と比較して、Factorial PD-Clusteringは大規模データセットにおける計算効率をどの程度向上させるか？
• RQ4 直交変換の統合が、クラスタリング結果の耐障害性を向上させるか？

主な発見

• Factorial PD-Clusteringは、Tucker 3分解とPDクラスタリングの両ステップの反復的精錬を通じて収束を達成する。
• この手法は、計算複雑性の低減により、大規模データセットにおけるアルゴリズムのパフォーマンスを顕著に向上させる。
• Tucker 3分解の統合により、クラスタリング結果の安定性と耐障害性が向上する。
• 共通の最適化基準により、次元削減とクラスタリングの目的の整合性が保証される。