[論文レビュー] A Novel Multi-clustering Method for Hierarchical Clusterings, Based on Boosting

Elaheh Rashedi, Abdolreza Mirzaei|arXiv (Cornell University)|May 29, 2018

Face and Expression Recognition参考文献 17被引用数 7

ひとこと要約

本論文は、重み付きブートストラップサンプリングを用いて段階的で多様な階層的クラスタリングを繰り返し生成し、コンSENSUS不一致行列を介してそれらを統合することで、安定性と品質を向上させる、新しいブースティングベースのマルチクラスタリング手法を提案する。実データセット上での実験により、標準的な階層的クラスタリング手法を上回る優れた性能を示した。

ABSTRACT

Bagging and boosting are proved to be the best methods of building multiple classifiers in classification combination problems. In the area of "flat clustering" problems, it is also recognized that multi-clustering methods based on boosting provide clusterings of an improved quality. In this paper, we introduce a novel multi-clustering method for "hierarchical clusterings" based on boosting theory, which creates a more stable hierarchical clustering of a dataset. The proposed algorithm includes a boosting iteration in which a bootstrap of samples is created by weighted random sampling of elements from the original dataset. A hierarchical clustering algorithm is then applied to selected subsample to build a dendrogram which describes the hierarchy. Finally, dissimilarity description matrices of multiple dendrogram results are combined to a consensus one, using a hierarchical-clustering-combination approach. Experiments on real popular datasets show that boosted method provides superior quality solutions compared to standard hierarchical clustering methods.

研究の動機と目的

• 標準的な階層的クラスタリング手法の不安定さと最適でない品質の問題に対処すること。
• 平坦クラスタリングからのブースティング理論を階層的クラスタリングに拡張し、より高い耐障害性を達成すること。
• 繰り返しサンプリングを用いて多様で高品質な階層的クラスタリングを生成するマルチクラスタリングフレームワークを開発すること。
• 階層的クラスタリング統合手法を用いて、複数の階層的クラスタリングを1つの安定したコンセンサス階層に統合すること。
• 実世界のデータセット上での標準的な階層的クラスタリング手法との比較において、本手法の優位性を実証的に検証すること。

提案手法

• 本手法は、元のデータセットから重み付きランダムサンプリングによりブートストラップサンプルを生成することで、反復的なブースティングを実行する。
• 各ブートストラップサンプルに階層的クラスタリングアルゴリズムを適用し、階層的クラスタリングを表すデンドログラムを生成する。
• 各結果として得られたデンドログラムから不一致行列を抽出し、クラスタリング構造を表現する。
• 異なる反復から得られた複数の不一致行列を、階層的クラスタリング統合戦略を用いてコンセンサス不一致行列に統合する。
• 最終的なコンセンサス階層は、コンセンサス不一致行列から導出され、安定性と向上したクラスタリング品質を保証する。
• ブースティングプロセスは、反復の間に誤ってクラスタリングされた、または不安定な要素に注目することで、全体のクラスタリングを改善する。

実験結果

リサーチクエスチョン

• RQ1 ブースティングの原則は、階層的クラスタリングの安定性と品質を向上させるために効果的に適応可能か？
• RQ2 繰り返しブートストラップサンプリングによるマルチクラスタリングは、階層的クラスタリングの耐障害性をどのように向上させるか？
• RQ3 コンセンサス不一致行列を介して複数の階層的クラスタリングを統合することは、単一の階層的クラスタリングを上回るか？
• RQ4 提案手法は、標準的な階層的クラスタリング手法と比較して、実データセット上でのクラスタリング品質をどのように向上させるか？
• RQ5 ブースティングプロセスにおける重みは、生成された階層的クラスタリングの多様性と品質にどのように影響するか？

主な発見

• 提案されたブースティングベースのマルチクラスタリング手法は、標準的な階層的クラスタリング手法よりも、より安定的で高品質な階層的クラスタリングを生成する。
• コンセンサス不一致行列は、多様な階層的クラスタリングを1つの強固な階層的構造に効果的に統合する。
• 一般的な実データセットを用いた実験により、ベースライン手法に比べて一貫したクラスタリング品質の向上が確認された。
• 反復的なブースティングプロセスは、難易度の高いクラスタリング対象に的を絞ることに成功し、全体の分割品質が向上した。
• 本手法は、アンサンブル特性のおかげで、複数回の実行においても高い安定性を示した。
• 結果から、ブースティング理論が平坦クラスタリングから階層的クラスタリングへ効果的に拡張可能であり、性能向上が明確に測定可能であることが確認された。