[論文レビュー] Reclassification formula that provides to surpass K-means method

Mikhail V. Kharinov|arXiv (Cornell University)|Sep 27, 2012

Neural Networks and Applications参考文献 10被引用数 5

ひとこと要約

この論文では、K-meansクラスタリング手法を改善する再分類式を導入し、総二乗誤差（E）を最小化する安定したパーティションの生成を可能にしている。K-meansとは異なり、個々の点の再割り当てによってしばしば不安定で最適でないクラスタが生じるが、本手法はデータ点の集合を一括して再分類することで、反復的最適化によって均衡的安定性と一貫して低いE値を実現する。

ABSTRACT

The paper presents a formula for the reclassification of multidimensional data points (columns of real numbers, "objects", "vectors", etc.). This formula describes the change in the total squared error caused by reclassification of data points from one cluster into another and prompts the way to calculate the sequence of optimal partitions, which are characterized by a minimum value of the total squared error E (weighted sum of within-class variance, within-cluster sum of squares WCSS etc.), i.e. the sum of squared distances from each data point to its cluster center. At that source data points are treated with repetitions allowed, and resulting clusters from different partitions, in general case, overlap each other. The final partitions are characterized by "equilibrium" stability with respect to the reclassification of the data points, where the term "stability" means that any prescribed reclassification of data points does not increase the total squared error E. It is important that conventional K-means method, in general case, provides generation of instable partitions with overstated values of the total squared error E. The proposed method, based on the formula of reclassification, is more efficient than K-means method owing to converting of any partition into stable one, as well as involving into the process of reclassification of certain sets of data points, in contrast to the classification of individual data points according to K-means method.

研究の動機と目的

• 多次元データのクラスタリングにおいて、従来のK-meansアルゴリズムが生じる不安定性と部分最適解を是正すること。
• クラスタ中心からの点までの二乗距離の和として定義される、最小限の総二乗誤差Eを有するパーティションを生成する方法の開発。
• 個々の点ではなく、点の集合を対象とする再分類メカニズムの導入により、安定した解への収束を向上させること。
• いかなる再分類もEをさらに低下させない「均衡的安定性」にある最終的なパーティションを保証すること。
• K-meansが不安定なクラスタ構成によって誇張されたE値を排除することで、性能をK-meansを上回ること。

提案手法

• 本手法は、データ点を1つのクラスタから別のクラスタに再分類する際の総二乗誤差（E）の変化を計算するための数学的式を導入する。
• 個々の点の再分類だけでなく、事前に定義された点の集合に対する再分類効果の評価を可能とし、より戦略的かつ効率的なクラスタ調整を可能にする。
• アルゴリズムは反復的に再分類式を適用し、Eを低減する変更を同定・実装することで、安定したパーティションへと進化する。
• 安定性は、いかなる点または点の集合の再分類もEをさらに低下させない状態として定義され、最適収束を保証する。
• データ点を繰り返し許容可能とみなすことで、最適化過程において異なるパーティション間でクラスタの重複を許容する。
• 個々の点の再割り当てによる局所的最小値の罠を避けるために、集合的再割り当てを可能とすることで、よりグローバルに有利な解に到達する。

実験結果

リサーチクエスチョン

• RQ1 K-meansが達成するよりも、系統的に総二乗誤差Eを低減する再分類式を開発できるか？
• RQ2 点の集合の集団的再割り当ては、個々の点の再割り当てと比較して、収束性および安定性においてどのように異なるか？
• RQ3 いかなる再分類もEの低減を許さない「均衡的安定」パーティションを特徴づける条件は何か？
• RQ4 なぜK-meansはしばしばE値が誇張された不安定なパーティションを生成するのか？そして、これを数学的に是正できるか？
• RQ5 提案手法は、内挿和二乗誤差（WCSS）の最小化において、K-meansをどの程度上回るか？

主な発見

• 提案された再分類式により、いかなる再分類もEをさらに低下させない安定したクラスタパーティションの生成が可能となった。
• 本手法は、不安定で局所最適な解を避けることで、K-meansよりも一貫して低いE値を達成した。
• 個々の点ではなく点の集合を再分類することで、K-meansが抱える短視眼的な調整を回避し、よりグローバルに最適なクラスタ構成に到達した。
• 最終的なパーティションは「均衡的安定性」を特徴とし、いかなる再分類試みに対しても耐性があり、最適性を保証した。
• 繰り返しを許容する点の取り扱いでも本手法は有効であり、最適化過程で異なるパーティション間でクラスタが重複することを許容した。
• 反復的な再分類式の適用により、任意の初期パーティションを安定的でEが最小の状態に変換できることから、K-meansを上回る優れた性能を示した。