[論文レビュー] Robust and Efficient Fuzzy C-Means Clustering Constrained on Flexible Sparsity

Jinglin Xu, Junwei Han+3 more|arXiv (Cornell University)|Aug 19, 2019

Face and Expression Recognition参考文献 52被引用数 6

ひとこと要約

本稿では、外れ値に強い性能と高い効率性を兼ね備えたファジィc-平均クラスタリング手法であるREFCMFSを提案する。この手法は、外れ値への耐性を高めるための$L_{2,1}$-ノルム損失関数と、メンバーーシップ行列への直接的な$L_0$-ノルム制約を統合し、柔軟なスパarsityを実現する。$L_0$-ノルムを近似せずにランク関数を用いて埋め込むことで、最先端の手法よりも優れたクラスタリング精度と高速な収束性を達成した。複数のベンチマークデータセット上でその有効性が検証された。

ABSTRACT

Clustering is an effective technique in data mining to group a set of objects in terms of some attributes. Among various clustering approaches, the family of K-Means algorithms gains popularity due to simplicity and efficiency. However, most of existing K-Means based clustering algorithms cannot deal with outliers well and are difficult to efficiently solve the problem embedded the $L_0$-norm constraint. To address the above issues and improve the performance of clustering significantly, we propose a novel clustering algorithm, named REFCMFS, which develops a $L_{2,1}$-norm robust loss as the data-driven item and imposes a $L_0$-norm constraint on the membership matrix to make the model more robust and sparse flexibly. In particular, REFCMFS designs a new way to simplify and solve the $L_0$-norm constraint without any approximate transformation by absorbing $\|\cdot\|_0$ into the objective function through a ranking function. These improvements not only make REFCMFS efficiently obtain more promising performance but also provide a new tractable and skillful optimization method to solve the problem embedded the $L_0$-norm constraint. Theoretical analyses and extensive experiments on several public datasets demonstrate the effectiveness and rationality of our proposed REFCMFS method.

研究の動機と目的

• 従来のK-MeansおよびFCMクラスタリング手法が、$L_0$-ノルム制約に起因する外れ値の取り扱いの不十分さと計算上の非効率性を克服すること。
• 外れ値に対して強い耐性を示しつつ、メンバーーシップ割り当てにおける柔軟なスパarsityを実現するクラスタリングモデルの開発。
• $L_0$-ノルム制約付きクラスタリング問題を近似を用いずに解ける、実用的で非近似の最適化手法の提供。
• 計算複雑度を低く保ちながら、クラスタリング性能と収束速度の両方を向上させること。

提案手法

• データ駆動項における外れ値の影響を軽減するため、$L_{2,1}$-ノルムに基づくロバスト損失関数を導入する。
• メンバーーシップ行列への直接的な$L_0$-ノルム制約を課し、スパースで柔軟なクラスタ割り当てを実現する。
• 近似を避けるために、$L_0$-ノルムをランク関数を介して目的関数に統合する新しい最適化戦略を提案する。
• 反復的アルゴリズムを用いて得られた最適化問題を解き、収束性と最適性が保証されている。
• スパarsityを維持するため、メンバーーシップ行列の更新にソフトスレッショルド処理に類似した更新ルールを採用する。
• $L_{2,1}$-損失と$L_0$-スパarsityのバランスを取ることで、ハードパーティショニングとソフトパーティショニングの両方の利点を統合する。

実験結果

リサーチクエスチョン

• RQ1 クラスタリングにおける$L_0$-ノルム制約を直接的かつ近似なしに扱う手法は、ロバストネスと効率性の向上に寄与するか？
• RQ2 外れ値に敏感なデータセットにおいて、$L_{2,1}$-ノルム損失と$L_0$-ノルムスパarsityを組み合わせることで、より優れたクラスタリング性能が得られるか？
• RQ3 提案手法は、既存のロバストFCMの変種と比較して、より高速な収束性と低い計算複雑度を達成できるか？
• RQ4 外れ値に起因する柔軟なスパarsityは、固定スパarsityやバイナリパーティショニングと比較して、クラスタリング品質にどのように影響するか？

主な発見

• REFCMFSは、ORL、Yale、COIL20、USPS、YaleB、COIL100データセットにおいて、それぞれK-Means++と比較して平均で7.32%、9.5%、5.985%、0.53%、4.565%の向上を達成した。
• 同じデータセットでK-Medoidsと比較して、16.89%、10.475%、21.03%、4.36%、18.14%の向上を示し、優れたロバストネスを実証した。
• ORL、Yale、COIL20、USPS、YaleB、COIL100データセットにおいて、それぞれLSCと比較して5.065%、5.68%、6.96%、8%、0.815%、3.605%の平均向上を達成した。
• 同じデータセットでRSFKMと比較して、4.565%、8.42%、2.615%、3.875%、0.735%、1.365%の平均向上を示し、より優れたスパarsity制御とパフォーマンスを示した。
• 簡略化版であるsim-REFCMFSは、第二位の性能を達成しており、$L_0$-ノルムスパarsityと$L_{2,1}$-損失の設計効果を裏付けた。
• 収束曲線と複雑度解析により、GMM、SC、RSFKMと比較して、すべてのデータセットでより高速な収束性と低い時間計算量を確認した。