[論文レビュー] Balanced k-Means and Min-Cut Clustering

Xiaojun Chang, Feiping Nie+2 more|arXiv (Cornell University)|Nov 23, 2014

Face and Expression Recognition参考文献 27被引用数 17

ひとこと要約

本稿では、排他的lasso正則化を用いてクラスタサイズのバランスを強制することで、データポイントがクラスタ間でより公平に分配されるようにする、バランス型k-meansおよびバランス型Min-Cutクラスタリング手法を提案する。排他的lassoペナルティを最小化することで、最先端の手法と比較して、ベンチマークデータセット上でのクラスタリング精度と正規化相互情報量（NMI）が顕著に向上する。

ABSTRACT

Clustering is an effective technique in data mining to generate groups that are the matter of interest. Among various clustering approaches, the family of k-means algorithms and min-cut algorithms gain most popularity due to their simplicity and efficacy. The classical k-means algorithm partitions a number of data points into several subsets by iteratively updating the clustering centers and the associated data points. By contrast, a weighted undirected graph is constructed in min-cut algorithms which partition the vertices of the graph into two sets. However, existing clustering algorithms tend to cluster minority of data points into a subset, which shall be avoided when the target dataset is balanced. To achieve more accurate clustering for balanced dataset, we propose to leverage exclusive lasso on k-means and min-cut to regulate the balance degree of the clustering results. By optimizing our objective functions that build atop the exclusive lasso, we can make the clustering result as much balanced as possible. Extensive experiments on several large-scale datasets validate the advantage of the proposed algorithms compared to the state-of-the-art clustering algorithms.

研究の動機と目的

• データが均等に分布している場合に、従来のk-meansおよびMin-Cutクラスタリングが不均衡なクラスタ割り当てを生じるという限界を解消すること。
• 特にクラスタサイズが概ね等しくなるべきデータセットにおいて、クラスタサイズのバランスを明示的にクラスタリング結果に組み込むこと。
• k-meansおよびMin-Cutフレームワークに排他的lasso正則化を統合し、クラスタ間のデータポイント獲得における競争を誘発すること。
• 排他的lasso正則化に起因する非滑らか関数を解くための反復的最適化手法を開発すること。
• 提案されたバランス型クラスタリング手法が、既存の最先端手法を実験的に上回ることを検証すること。

提案手法

• クラスタサイズの不均衡を抑制するために、k-meansの目的関数に排他的lassoペナルティを組み込み、不均衡なクラスタサイズを罰する。
• Min-Cutクラスタリングでは、クラスタ割り当てベクトルに排他的lassoを適用し、グラフの頂点のバランスの取れた分割を促進する。
• 排他的lassoを含む非滑らか関数の目的関数を扱うために、新規の反復的最適化アルゴリズムを提案する。
• 最適化は、k-meansではクラスタ割り当てとクラスタ中心の更新を、Min-Cutでは分割ベクトルの更新を交互に繰り返し、排他的lasso項がバランスを正則化する。
• パラメータγは排他的lassoペナルティの強さを制御し、実験により両手法において[10⁻², 10²]の範囲で最適な性能が得られることが示された。
• このフレームワークはk-meansおよびMin-Cutの両方へ適用可能であり、古典的手法がよりバランスの取れた結果を生成できるようにする。

実験結果

リサーチクエスチョン

• RQ1 排他的lasso正則化は、k-meansクラスタリングにおいて、クラスタサイズのバランスを効果的に強制できるか？
• RQ2 排他的lassoは、Min-Cutクラスタリングに適応可能であり、よりバランスの取れた分割を実現できるか？
• RQ3 提案されたバランス型k-meansおよびMin-Cutアルゴリズムの性能は、精度およびNMIの観点から、最先端のクラスタリング手法と比較してどのように異なるか？
• RQ4 提案されたアルゴリズムは正則化パラメータγに対して感受性を示すか？
• RQ5 判別情報とバランス制約を同時に組み込むことで、バランス型データセットにおけるクラスタリング性能が向上するか？

主な発見

• 提案されたバランス型k-meansアルゴリズムは、全テストデータセットにおいて、古典的k-means、DisCluster、DisKmeans、AKM、HKMおよび他のSOTA手法を常に上回り、クラスタリング精度およびNMIの両面で優れた性能を示した。
• バランス型Min-Cutクラスタリングは、全9つのベンチマークデータセットで、Min-Cut、MinMax Cut、Ratio Cut、Normalized Cut、Balanced Min-Cutを含むすべてのグラフベースクラスタリング手法の中で最高の性能を達成した。
• パラメータγは性能に顕著な影響を及ぼし、バランス型k-meansおよびバランス型Min-Cutの両方において、[10⁻², 10²]の範囲で一貫して最適な結果が得られた。
• 排他的lassoはクラスタ間の競争を効果的に誘発し、よりバランスの取れたクラスタサイズと向上したクラスタリング品質を実現した。
• 広範な実験により、提案手法が多様な大規模データセットにおいてロバストで一貫した優位性を示し、バランス制約の有効性が裏付けられた。
• 反復的最適化手法は、非滑らか関数を効果的に処理でき、高品質なバランス型クラスタリングへの収束を可能にした。