[論文レビュー] Multiple Kernel $k$-Means Clustering by Selecting Representative Kernels

Yaqiang Yao, Huanhuan Chen|arXiv (Cornell University)|Nov 1, 2018

Face and Expression Recognition参考文献 23被引用数 12

ひとこと要約

本稿では、クラスタリング性能を向上させるとともに冗長性を低減するため、代表的で多様性のあるカーネルのサブセットを選択する複数カーネル $k$-meansクラスタリング手法を提案する。最適化フレームワークにカーネルの多様性を統合し、交互最小化を用いることで、最先端の手法と比較してベンチマークデータセット上で優れた結果を達成する。

ABSTRACT

To cluster data that are not linearly separable in the original feature space, $k$-means clustering was extended to the kernel version. However, the performance of kernel $k$-means clustering largely depends on the choice of kernel function. To mitigate this problem, multiple kernel learning has been introduced into the $k$-means clustering to obtain an optimal kernel combination for clustering. Despite the success of multiple kernel $k$-means clustering in various scenarios, few of the existing work update the combination coefficients based on the diversity of kernels, which leads to the result that the selected kernels contain high redundancy and would degrade the clustering performance and efficiency. In this paper, we propose a simple but efficient strategy that selects a diverse subset from the pre-specified kernels as the representative kernels, and then incorporate the subset selection process into the framework of multiple $k$-means clustering. The representative kernels can be indicated as the significant combination weights. Due to the non-convexity of the obtained objective function, we develop an alternating minimization method to optimize the combination coefficients of the selected kernels and the cluster membership alternatively. We evaluate the proposed approach on several benchmark and real-world datasets. The experimental results demonstrate the competitiveness of our approach in comparison with the state-of-the-art methods.

研究の動機と目的

• 複数カーネル $k$-meansクラスタリングで用いられるカーネルの組み合わせにおける高い冗長性を是正すること。
• 事前に指定されたカーネル集合から多様性のある代表的カーネルのサブセットを選択することで、クラスタリング性能を向上させること。
• カーネル重みとクラスタ割り当てを同時に学習する最適化フレームワークを構築し、カーネルの多様性を促進すること。
• 既存の複数カーネルクラスタリング手法における冗長カーネルによる計算非効率性と性能低下を軽減すること。

提案手法

• 目的関数に多様性正則化項を導入し、重複のない代表的カーネルの選択を促進する。
• カーネル結合重みとクラスタ所属割り当てを交互に更新する反復的最適化戦略を用いる。
• 選択されたカーネルを、最終的なカーネル結合における重要性を示す重みで表現する。
• カーネル多様性を正則化パrameter $\lambda$ を用いて明示的にモデル化する非凸最適化フレームワークを採用する。
• カーネル $k$-meansの部分問題を効率的に解くために固有値分解を適用する。
• 目的関数にクラスタリング目的と多様性目的の両方を組み込むことで、複数カーネル $k$-meansフレームワークにカーネル選択を統合する。

実験結果

リサーチクエスチョン

• RQ1 多様性のあるカーネルサブセットの選択は、複数カーネル $k$-meansクラスタリングの性能を向上させることができるか？
• RQ2 標準的な複数カーネル学習手法と比較して、カーネル多様性がクラスタリング精度と頑健性に与える影響は何か？
• RQ3 正則化を用いてカーネルの冗長性を明示的にモデル化することで、収束性と効率性が向上するか？
• RQ4 提案手法は、クラスタリング精度および計算効率の面で、最先端の複数カーネルクラスタリング手法を上回ることができるか？

主な発見

• 提案手法は、複数のベンチマークおよび実世界のデータセットで競争力あるクラスタリング性能を達成し、既存の最先端手法を上回る。
• 本手法はさまざまなデータセットで安定した性能を示し、ORLデータセットでは多様性正則化パrameter $\lambda$ に対して最小限の感度を示す。
• TR11データセットでは、$\lambda = 2^{-2}$ で一時的に性能が低下するがその後安定化するため、多様性と精度のトレードオフが顕在化している。
• $\lambda$ が増加するにつれて選択された代表的カーネルの数が減少するため、より高い正則化はスパースなカーネル選択をもたらし、解釈性を向上させる。
• ORLおよびTR11の両データセットで、目的関数は10回未満の反復で収束するため、交互最適化アルゴリズムの高速収束が確認された。
• MKKM-MRに比べて本手法はカーネル多様性を向上させ、冗長性を低減することで、より優れたクラスタリング結果を達成した。