[論文レビュー] Twin Learning for Similarity and Clustering: A Unified Kernel Approach

Zhao Kang, Chong Peng+1 more|arXiv (Cornell University)|May 1, 2017

Face and Expression Recognition被引用数 20

ひとこと要約

本論文は、二重学習を用いて類似度行列、クラスタ指標、最適カーネル結合を統合的に学習するカーネルベースのフレームワークを提案する。反復的に各コンポonentを他方のコンポonentによって強化することで、実世界のデータセットにおいてクラスタリング性能を顕著に向上させ、顔認識や数字認識データセットを含む複数のベンチマークで最先端の結果を達成した。

ABSTRACT

Many similarity-based clustering methods work in two separate steps including similarity matrix computation and subsequent spectral clustering. However, similarity measurement is challenging because it is usually impacted by many factors, e.g., the choice of similarity metric, neighborhood size, scale of data, noise and outliers. Thus the learned similarity matrix is often not suitable, let alone optimal, for the subsequent clustering. In addition, nonlinear similarity often exists in many real world data which, however, has not been effectively considered by most existing methods. To tackle these two challenges, we propose a model to simultaneously learn cluster indicator matrix and similarity information in kernel spaces in a principled way. We show theoretical relationships to kernel k-means, k-means, and spectral clustering methods. Then, to address the practical issue of how to select the most suitable kernel for a particular clustering task, we further extend our model with a multiple kernel learning ability. With this joint model, we can automatically accomplish three subtasks of finding the best cluster indicator matrix, the most accurate similarity relations and the optimal combination of multiple kernels. By leveraging the interactions between these three subtasks in a joint framework, each subtask can be iteratively boosted by using the results of the others towards an overall optimal solution. Extensive experiments are performed to demonstrate the effectiveness of our method.

研究の動機と目的

• 類似度行列の計算とスペクトルクラスタリングを別々に実行する伝統的な二段階アプローチの限界、特にパラメータ選択や部分的な類似度指標に敏感である点を是正する。
• 非線形なデータ構造に対処するため、複雑な非線形関係を捉えるために、カーネル空間で直接作業する手法を開発する。
• 手動によるカーネル選択の必要性を排除するため、複数カーネル学習をクラスタリングフレームワークに統合し、最適なカーネル組み合わせの自動選択を可能にする。
• 類似度学習、クラスタ指標学習、カーネル重み学習を統合的に1つの共同最適化フレームワークに統合し、各コンポonentが反復的に他方を改善する仕組みを構築する。

提案手法

• 類似度行列 Z とクラスタ指標行列 H を同時に学習する共同最適化問題を定式化し、Z のラプラシアン行列にランク制約を課してクラスタ構造を強制する。
• 各データポイントが他のポイントの線形結合として表現できる自己表現性を利用し、データから直接グローバルな類似関係を学習する。
• 再生成ヒルバート空間への応用により、カーネル空間への拡張を実現し、非線形なデータ構造を捉える能力を向上させる。
• 複数カーネル学習の拡張として、最終的なコンSENSUSカーネルを複数の基本カーネルの重み付き線形結合として学習し、類似度およびクラスタリングコンポーネントと同時に重みを最適化する。
• 非凸問題を効率的に解くための逐次的最適化アルゴリズムを設計し、収束するまで Z、H、カーネル重みを交互に更新する。
• カーネルk-means、k-means、スペクトルクラスタリングとの理論的関係を確立し、本手法がこれらの古典的手法を一般化・改善していることを示す。

実験結果

リサーチクエスチョン

• RQ1 類似度学習、クラスタ指標学習、カーネル選択を統合的に最適化するフレームワークは、クラスタリング性能の向上に寄与するか？
• RQ2 類似度学習とクラスタ指標学習の相互作用は、個別最適化と比較して、全体のクラスタリング品質をどのように向上させるか？
• RQ3 本手法は、複雑な非線形構造を示す実世界のデータセットにおいて、既存の単一カーネルおよび複数カーネルクラスタリング手法をどの程度上回るか？
• RQ4 本手法は、多様なデータセットにおいて正則化パラメータ α と β の選択に対してどれほど頑健か？

主な発見

• 提案手法 SCMK は、すべてのベンチマークデータセットで最先端の性能を達成し、単一カーネルおよび複数カーネルベースラインと比較して、正確性、NMI、純度の面で顕著な向上を示した。
• JAFFE、AR、BA、TR11、TR45 データセットにおいて、SCMK は他の手法を顕著に上回り、複雑な構造を示す挑戦的な実世界データに対して有効であることを示した。
• 単一カーネルの最良と平均の結果の差が示すように、カーネル選択の影響は極めて大きく、自動カーネル学習の必要性を裏付けた。
• パラメータ α に対しては広範な値域で強い頑健性を示したが、β に対してはより感受性が高いため、β の慎重なチューニングが有益である可能性がある。
• 広範な実験により、類似度、クラスタリング、カーネル重みの共同最適化が一貫した性能向上をもたらし、各コンポーネントが他方からのフィードバックを通じて改善されることを確認した。