[論文レビュー] Incremental Cluster Validity Indices for Hard Partitions: Extensions and Comparative Study

Leonardo Enzo Brito da Silva, Niklas Melton+1 more|arXiv (Cornell University)|Feb 18, 2019

Advanced Clustering Algorithms Research参考文献 76被引用数 5

ひとこと要約

本論文は、データストリームにおけるオンラインクラスタリングを評価するための6つのクラスタ妥当性指標—iCH、iI、iPBM、iSIL、iNI、irCIP、irH、iConn_Index—の段階的バージョンを導入する。ファジィARTを用いた比較的検証において、iConn_Index以外の大多数の指標は過小分割を検出できないが、iConn_Indexは過小分割を一貫して検出可能であることが示された。これは、ストリーミング環境における堅牢な検証のため、複数のiCVIを同時に監視する必要があることを示している。

ABSTRACT

Validation is one of the most important aspects of clustering, but most approaches have been batch methods. Recently, interest has grown in providing incremental alternatives. This paper extends the incremental cluster validity index (iCVI) family to include incremental versions of Calinski-Harabasz (iCH), I index and Pakhira-Bandyopadhyay-Maulik (iI and iPBM), Silhouette (iSIL), Negentropy Increment (iNI), Representative Cross Information Potential (irCIP) and Representative Cross Entropy (irH), and Conn_Index (iConn_Index). Additionally, the effect of under- and over-partitioning on the behavior of these six iCVIs, the Partition Separation (PS) index, as well as two other recently developed iCVIs (incremental Xie-Beni (iXB) and incremental Davies-Bouldin (iDB)) was examined through a comparative study. Experimental results using fuzzy adaptive resonance theory (ART)-based clustering methods showed that while evidence of most under-partitioning cases could be inferred from the behaviors of all these iCVIs, over-partitioning was found to be a more challenging scenario indicated only by the iConn_Index. The expansion of incremental validity indices provides significant novel opportunities for assessing and interpreting the results of unsupervised learning.

研究の動機と目的

• 既存のiDBおよびiXBに加え、さらに6つの指標の段階的バージョンを新たに開発することで、段階的クラスタ妥当性指標（iCVI）の体系を拡張すること。
• 正しい分割、過小分割、過小分割の3つのクラスタリング状況下でのこれらの新規iCVIの挙動を評価すること。
• ファジィ適応的レゾナランス理論（ART）に基づくクラスタリングを用いて、10のiCVI（iXBおよびiDBを含む）の性能をデータストリーム応用において比較すること。
• バッチ版と段階的版のConn_Indexの整合性を評価し、オンライン監視における信頼性を確認すること。
• リアルタイムの非教師あり学習におけるクラスタリング品質の問題を検出するための、複数のiCVIを用いる実用的ガイドラインを提供すること。

提案手法

• Calinski-Harabasz、シルエット、Conn_IndexなどのCVIの段階的計算を可能にするために、コンパクトネスおよび分離度の再帰的定式化を構築した。
• 既存のバッチ版CVI（例：CH、DB、I、PBM、ネガエントロピー、CIP、H）を、重心、クラスタサイズ、距離メトリクスの再帰的更新を用いて段階的形に変換した。
• 可変なアテンションレベルを備えたファジィ適応的レゾナランス理論（ART）クラスタリングを用い、正しい分割、過小分割、過小分割の状況を制御的に生成した。
• ファジィSMARTアルゴリズムを段階的に訓練し、各サンプルの入力後にクラスタープロトタイプと妥当性指標を更新することで、リアルタイムのデータストリームを模擬した。
• バッチ版と段階的版の各指標を計算し、トレンドと整合性を比較した。検証にはピアソン相関係数と平均二乗誤差（MSE）を用いた。
• さまざまなアテンションレベルにおける指標の挙動を分析し、段階的実装の感度および耐性を評価した。

実験結果

リサーチクエスチョン

• RQ1 再帰的定式化を用いて、Calinski-Harabasz、I指標、Pakhira-Bandyopadhyay-Maulik、シルエット、ネガエントロピー増分、代表的クロス情報ポテンシャル、代表的クロスエントロピー、およびConn_Indexの段階的バージョンを成功裏に導出できるか？
• RQ2 正しいクラスタ数が検出された段階的クラスタリングプロセスにおいて、提案されたiCVIはどのように挙動するか？
• RQ3 オンラインクラスタリングにおいて、過小分割（クラスタ数が少なすぎる）を検出できるか？また、どの指標がこの問題を最も効果的にシグナルするか？
• RQ4 過小分割（クラスタ数が多すぎる）を検出できるiCVIは存在するか？もしあるならば、どの指標が最も信頼性の高いシグナルを提供するか？
• RQ5 さまざまなクラスタリングの粒度とデータストリームの条件下で、段階的Conn_Indexはバッチ版の挙動をどの程度正確に再現するか？

主な発見

• 評価された10の指標の中で、段階的Conn_Index（iConn_Index）は唯一、過小分割を一貫して検出可能な信号を提供する。ただし、1つの特定の過小分割ケースでは検出に失敗した。
• iCH、iSIL、iI、iPBM、iNI、irCIP、iXBなどの大多数のiCVIは、クラスタ生成時に急激な変化を示し、低下トレンドを通じて過小分割を効果的にシグナルした。
• iXBおよびirCIPは視覚的に最も情報が少なく、最小限または曖昧な挙動パターンを示し、診断的価値がほとんどなかった。
• iConn_Indexは、広範なアテンションレベルにわたり、バッチ版の一般的なトレンドを高く忠実に再現しており、ピアソン相関係数が高く、MSEが低く、オンライン監視における信頼性が裏付けられた。
• 本研究では、単一のiCVIに依存することは不十分であることが確認された。ストリーミング環境におけるクラスタリング品質の問題を堅牢に検出するためには、複数の指標を同時に監視することが不可欠である。
• 新規に導入された8つの指標（iCH、iI、iPBM、iSIL、iNI、irCIP、irH、iConn_Index）の段階的定式化は、安定的かつバッチ版と整合的であり、特にファジィARTクラスタリングにおける中程度から高水準のアテンションレベルで顕著であった。