[論文レビュー] Efficient Dynamic Clustering: Capturing Patterns from Historical Cluster Evolution

Binbin Gu, Saeed Kargar+1 more|arXiv (Cornell University)|Jan 1, 2022

Data Stream Mining Techniques被引用数 6

ひとこと要約

この論文では、動的データベースにおける高速かつ高精度な動的クラスタリングを実現するため、履歴のバッチクラスタリング結果からクラスタの進化パターンを学習する機械学習拡張型システム、DynamicCを提案する。データ更新に対するクラスタの変化の仕組みを学習することで、DynamicCはマージ／スプリットの意思決定を予測し、目的関数に基づくヒューリスティクスを用いて適用する。これにより、最先端の手法と比較して顕著に遅延を低減しつつ、バッチクラスタリングに匹敵する高い精度を達成する。

ABSTRACT

Clustering aims to group unlabeled objects based on similarity inherent among them into clusters. It is important for many tasks such as anomaly detection, database sharding, record linkage, and others. Some clustering methods are taken as batch algorithms that incur a high overhead as they cluster all the objects in the database from scratch or assume an incremental workload. In practice, database objects are updated, added, and removed from databases continuously which makes previous results stale. Running batch algorithms is infeasible in such scenarios as it would incur a significant overhead if performed continuously. This is particularly the case for high-velocity scenarios such as ones in Internet of Things applications. In this paper, we tackle the problem of clustering in high-velocity dynamic scenarios, where the objects are continuously updated, inserted, and deleted. Specifically, we propose a generally dynamic approach to clustering that utilizes previous clustering results. Our system, DynamicC, uses a machine learning model that is augmented with an existing batch algorithm. The DynamicC model trains by observing the clustering decisions made by the batch algorithm. After training, the DynamicC model is usedin cooperation with the batch algorithm to achieve both accurate and fast clustering decisions. The experimental results on four real-world and one synthetic datasets show that our approach has a better performance compared to the state-of-the-art method while achieving similarly accurate clustering results to the baseline batch algorithm.

研究の動機と目的

• 動的データベースにおいて、データ更新ごとにバッチクラスタリングアルゴリズムを再実行する高コストな計算負荷を軽減すること。
• アルゴリズム固有の仮定に依存せず、任意のバッチクラスタリングアルゴリズムと連携可能な汎用的な動的クラスタリングシステムを設計すること。
• IoTやクラウドアプリケーションなどの高速度ワークロードにおいて、クラスタ進化の予測可能なパターンを学習することで遅延を低減すること。
• 学習による予測によって性能を著しく向上させつつ、バッチ手法と同等のクラスタリング品質を維持すること。
• 進化するデータワークロードに適応するための継続的再訓練とモデルの適応を可能にすること。

提案手法

• DynamicCは、挿入、削除、変更の操作に応じてバッチクラスタリングアルゴリズムが生成する履歴的クラスタ進化データを、機械学習モデルで学習する。
• システムは次元削減を図り、効率的な学習を可能にするために、マージまたはスプリットを表すコンactなバイナリーデシジョンと、グローバル類似度指標を用いてクラスタ変更を表現する。
• 予測処理では、モデルが一般化されたマージ／スプリットの意思決定を出力し、その後、クラスタリング目的関数に基づくヒューリスティクスを用いて、具体的なノード移動にマッピングする。
• 予測の妥当性を検証するために、変更が目的関数スコアを改善するかをチェックし、不正確な予測は拒否することで、品質を維持する。
• DynamicCは継続的再訓練をサポートしており、変化するデータパターンに適応し、時間の経過とともにモデルの正確性を維持できる。
• この手法は、下位のバッチアルゴリズムに依存しないため、k-means や DBSCAN などのさまざまなクラスタリング手法と、最小限の変更で統合可能である。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルは、動的データベースにおける履歴的バッチクラスタリング結果から、クラスタ進化パターンを学習し、予測できるか？
• RQ2 クラスタ進化を、効率的な学習と予測を可能にするために、どのようにコンactかつ効果的に表現できるか？
• RQ3 学習されたモデルは、高速度ワークロードにおいて遅延を低減しつつ、バッチ手法と同等のクラスタリング精度を達成できるか？
• RQ4 モデルの出力が不正確である可能性がある場合、システムは予測の正しさをどのように保証するか？
• RQ5 モデルは、進化するデータパターンに適応するために、どの程度継続的に再訓練できるか？

主な発見

• CoraデータセットではF1スコアが0.997、Musicでは0.994、Syntheticデータセットでは0.992を達成し、ベースラインのバッチアルゴリズムと同等の性能を示した。
• Coraデータセットにおいて、DynamicCは最先端の手法と比較して顕著に遅延を低減しつつ、ほぼ完璧なF1スコアを維持した。
• Coraデータセットの80％を学習データとして使用した場合、ロジスティック回帰モデルは98％のリ call と98％の精度に達し、強い収束性を示した。
• 20,000件の学習サンプルを用いても、すべての機械学習モデル（ロジスティック回帰、SVM、決定木）の学習時間は1秒未満に収まった。
• ヒューリスティクスに基づくアクションマッピングにより、目的関数スコアを改善する予測のみが適用されるため、クラスタリング品質が保たれた。
• DynamicCは継続的再訓練を可能としており、長期的なデータドリフトに適応し、時間の経過とともに性能を維持できる。