[論文レビュー] Iterative Optimization and Simplification of Hierarchical Clusterings

Douglas Fisher|arXiv (Cornell University)|Apr 1, 1996

Data Mining Algorithms and Applications参考文献 9被引用数 9

ひとこと要約

本稿では、初期クラスタリングの安価な生成と、リサンプリングに基づく pruning および属性選択に基づく目的関数を用いたバックグラウンドでの最適化を組み合わせることで、階層的クラスタリングの反復的最適化および単純化フレームワークを提案する。この手法はクラスタリングの品質と単純さを向上させ、後続の分析負荷を軽減しながらも、パターン補完タスクにおける高いパフォーマンスを維持する。

ABSTRACT

Clustering is often used for discovering structure in data. Clustering systems differ in the objective function used to evaluate clustering quality and the control strategy used to search the space of clusterings. Ideally, the search strategy should consistently construct clusterings of high quality, but be computationally inexpensive as well. In general, we cannot have it both ways, but we can partition the search so that a system inexpensively constructs a `tentative' clustering for initial examination, followed by iterative optimization, which continues to search in background for improved clusterings. Given this motivation, we evaluate an inexpensive strategy for creating initial clusterings, coupled with several control strategies for iterative optimization, each of which repeatedly modifies an initial clustering in search of a better one. One of these methods appears novel as an iterative optimization strategy in clustering contexts. Once a clustering has been constructed it is judged by analysts -- often according to task-specific criteria. Several authors have abstracted these criteria and posited a generic performance task akin to pattern completion, where the error rate over completed patterns is used to `externally' judge clustering utility. Given this performance task, we adapt resampling-based pruning strategies used by supervised learning systems to the task of simplifying hierarchical clusterings, thus promising to ease post-clustering analysis. Finally, we propose a number of objective functions, based on attribute-selection measures for decision-tree induction, that might perform well on the error rate and simplicity dimensions.

研究の動機と目的

• 階層的クラスタリングシステムにおけるクラスタリング品質と計算コストのバランスをとる課題に対処する。
• クラスタ構造の単純化により、クラスタリング後の分析負荷を軽減するが、有用性を損なわないようにする。
• 初期クラスタリングの後、反復的最適化を行う二段階アプローチを開発する。
• 教師あり学習で一般的に用いられるリサンプリングに基づく pruning 戦略を、階層的クラスタリングの単純化に適応する。
• 属性選択の指標に基づく目的関数を評価し、クラスタリングのパフォーマンスと単純さの両立を向上させる。

提案手法

• 迅速な初期分析を可能にするために、低コストな戦略を用いて一時的な初期クラスタリングを生成する。
• 目的関数の向上を目指して、クラスタリングを繰り返し変更することで反復的最適化を実行する。
• 教師あり学習で一般的に用いられるリサンプリングに基づく pruning 技術を、階層的クラスタリングの単純化に適応する。
• 決定木のインダクションで用いられる指標（例：情報ゲイン）を用いて目的関数を定義し、最適化をガイドする。
• 外部のパフォーマンスタスク（パターン補完誤り率）を用いて、クラスタリングの有用性を外部的に評価する。
• 初期分析をブロッキングせずに、バックグラウンドで最適化を実行することで、継続的な改善を可能にする。

実験結果

リサーチクエスチョン

• RQ1 反復的最適化は、計算効率を保ちながらも、階層的クラスタリングの品質を向上させることができるか？
• RQ2 リサンプリングに基づく pruning 戦略は、パフォーマンスを劣化させることなく、階層的クラスタリングの単純化にどの程度効果的か？
• RQ3 属性選択の指標に基づく目的関数の中で、クラスタリングの品質と単純さの両立を最もよく果たすのはどれか？
• RQ4 バックグラウンドでの反復的精錬は、初期分析の遅延を伴わずに、どの程度クラスタリングの有用性を向上させられるか？
• RQ5 さまざまな最適化戦略下で、パターン補完誤り率とクラスタリング品質の相関関係はどのようになるか？

主な発見

• 情報理論的指標に基づく目的関数でガイドされた反復的最適化戦略は、初期クラスタリングに比べて、特にクラスタリング品質を顕著に向上させる。
• リサンプリングに基づく pruning は、クラスタ構造の単純化に効果的であり、複雑さを低減し、後続のクラスタリング分析を容易にする。
• 属性選択の指標（例：情報ゲイン）に基づく目的関数は、標準的な基準を上回り、品質と単純さの両立に優れている。
• 初期クラスタリングの後、バックグラウンドで最適化を行う二段階アプローチにより、迅速な初期洞察と継続的な結果の改善が可能になる。
• 本手法は、パターン補完タスクにおいて高いパフォーマンスを達成し、最適化後に誤り率が顕著に低下することが測定された。
• 計算効率と高品質で分析可能なクラスタ出力の両立を実現したため、本フレームワークは実用的価値を示している。