[論文レビュー] SimpleMKKM: Simple Multiple Kernel K-means

Xinwang Liu, En Zhu+4 more|arXiv (Cornell University)|May 11, 2020

Advanced Clustering Algorithms Research被引用数 7

ひとこと要約

本稿では、パラメータフリーの複数カーネルk-means手法であるSimpleMKKMを提案する。この手法は、クラスタリングをカーネル整合性のミニマックス最適化として定式化し、それを滑らかな最小化問題に変換することで、削減勾配降下法を用いて解けるようにする。本手法は、11のベンチマークデータセットにおいてハイパーパramータチューニングを必要とせず、最先端のクラスタリング性能を達成する。

ABSTRACT

We propose a simple yet effective multiple kernel clustering algorithm, termed simple multiple kernel k-means (SimpleMKKM). It extends the widely used supervised kernel alignment criterion to multi-kernel clustering. Our criterion is given by an intractable minimization-maximization problem in the kernel coefficient and clustering partition matrix. To optimize it, we re-formulate the problem as a smooth minimization one, which can be solved efficiently using a reduced gradient descent algorithm. We theoretically analyze the performance of SimpleMKKM in terms of its clustering generalization error. Comprehensive experiments on 11 benchmark datasets demonstrate that SimpleMKKM outperforms state of the art multi-kernel clustering alternatives.

研究の動機と目的

• 交互最適化に依存し、局所最適解に陥りやすい既存の複数カーネルk-means（MKKM）手法の限界を克服すること。
• 正則化に基づくMKKM変種におけるハイパーパramータチューニングの必要性を解消すること。これは、教師なし設定では現実的でない。
• カーネル重みに関してはカーネル整合性を直接最小化し、クラスタリング割り当てに関しては最大化する、新しい最適化フレームワークの開発。
• グローバルラデマッハ複雑度解析を用いて一般化誤差バウンドを導出し、理論的保証を提供すること。
• 実用的応用において、パラメータチューニングの必要がなく、計算コストの増加も最小限に抑えられる高いクラスタリング性能を達成すること。

提案手法

• カーネル整合性のミニマックス定式化を提案：カーネル係数γに関しては整合性を最小化し、クラスタリング分割行列Hに関しては最大化する。
• カーネルk-meansの既知の最適解を用いて、扱いにくいミニマックス問題を滑らかな最小化問題に再定式化する。
• 最適値関数の微分可能性を証明し、効率的な最適化のための削減勾配を計算する。
• 削減勾配降下法を適用し、カーネル重みとクラスタリング割り当てを交互に更新せずに同時に最適化する。
• カーネル整合性の構造を活用することで、ブロック座標降下法で一般的に見られる局所最適解の問題を回避する。
• グローバルラデマッハ複雑度解析を用いて一般化誤差バウンドを導出し、理論的頑健性を確保する。

実験結果

リサーチクエスチョン

• RQ1 カーネル整合性の直接的なミニマックス定式化は、従来の交互最適化と比較して、複数カーネルk-meansにおけるクラスタリング性能を向上させることができるか？
• RQ2 削減勾配降下法は、収束性および局所最適解の回避という点で、従来の交互最適化を上回るか？
• RQ3 パラメータフリーな手法が、正則化やハイパーパramータチューニングを必要とせずに最先端の性能を達成できるか？
• RQ4 SimpleMKKMにおける非スパースなカーネル重み分布は、MKKMのようなスパース手法と比較して、どのようにクラスタリング精度の向上に寄与するか？
• RQ5 実際の応用において、提案された削減勾配降下法の収束特性と計算効率はいかがなっているか？

主な発見

• SimpleMKKMは、11のベンチマークデータセットにおいて、クラスタリング精度、正規化相互情報量、調整ランダ指数の観点から、8つの最先端のマルチカーネルクラスタリング手法を常に上回る性能を示した。
• 正則化に基づく競合手法（例：LMKKM や LF-MVC）とは異なり、いかなるハイパーパramータチューニングも必要としない。
• SimpleMKKMが学習するカーネル重みは、すべてのデータセットでスパースでなく、複数のカーネル行列の効果的な利用を可能にし、より良いクラスタリング結果に寄与している。
• UCI-Digitalデータセットでは、SimpleMKKMは89.1%のクラスタリング精度を達成したのに対し、MKKMは47.2%にとどまり、非スパースなカーネル統合のおかげで顕著な性能向上が見られた。
• 目的関数は単調に減少し、すべてのデータセットで10回未満の反復で収束することが確認され、高速かつ安定した収束を示した。
• 実行時間解析の結果、MKKMなどのベースライン手法と比較して、計算コストの著しい増加は見られず、性能向上にもかかわらず効率性を維持していることがわかった。