[論文レビュー] Self-weighted Multiple Kernel Learning for Graph-based Clustering and Semi-supervised Classification

Zhao Kang, Xiao Lu+2 more|arXiv (Cornell University)|Jun 20, 2018

Face and Expression Recognition被引用数 13

ひとこと要約

本稿では、一貫性のあるカーネルからの摂動として各カーネルをモデル化し、この一貫性カーネルに近いカーネルに自動的に高い重みを割り当てる自己重み付きマルチカーネル学習（SMKL）フレームワークを提案する。この手法は追加のパラメータを必要とせず、ベンチマークデータセット上で最先端の手法を上回り、クラスタリングおよび半教師付き分類の両タスクにおいて優れた精度と頑健性を示す。

ABSTRACT

Multiple kernel learning (MKL) method is generally believed to perform better than single kernel method. However, some empirical studies show that this is not always true: the combination of multiple kernels may even yield an even worse performance than using a single kernel. There are two possible reasons for the failure: (i) most existing MKL methods assume that the optimal kernel is a linear combination of base kernels, which may not hold true; and (ii) some kernel weights are inappropriately assigned due to noises and carelessly designed algorithms. In this paper, we propose a novel MKL framework by following two intuitive assumptions: (i) each kernel is a perturbation of the consensus kernel; and (ii) the kernel that is close to the consensus kernel should be assigned a large weight. Impressively, the proposed method can automatically assign an appropriate weight to each kernel without introducing additional parameters, as existing methods do. The proposed framework is integrated into a unified framework for graph-based clustering and semi-supervised classification. We have conducted experiments on multiple benchmark datasets and our empirical results verify the superiority of the proposed framework.

研究の動機と目的

• 既存のマルチカーネル学習（MKL）手法が、線形結合の仮定が厳密であることやカーネル重みの割り当てが不十分であるため、単一カーネル手法を上回らないという限界を解消すること。
• 最適カーネルが基本カーネルの線形結合に限定されず、その近傍に存在できるように柔軟なカーネル学習戦略を開発すること。
• 一貫性カーネルへの近さに基づいて自動的にカーネル重みを割り当てることで、追加のハイパーパrameterの必要性を排除すること。
• グラフ構築、ラベル学習、カーネル学習を統合した最適化フレームワークを構築し、相互フィードバックによって性能を向上させること。
• 実世界のベンチマークデータセットを用いた実験により、提案手法がクラスタリングおよび半教師付き分類の両タスクで優れた性能を示すことを実証すること。

提案手法

• 各基本カーネルを共有の一貫性カーネルからの摂動とみなす、新たなカーネル学習戦略を提案。これにより、最適カーネルが基本カーネルの近傍から出現する。
• 一貫性カーネルに近いカーネルに高い重みを割り当てる自己重み付け機構を導入。重みは追加パrameterなしにカーネル行列から直接導出される。
• 統一されたフレームワーク下で、グラフ構築、ラベル伝搬、カーネル学習を同時に最適化する反復的最適化アルゴリズムを開発。
• カーネル空間における自己表現性の性質を活用し、クラスタリングおよび半教師付き学習を支援するグラフ構造を学習。
• 最適化にグラフ構造制約を組み込み、学習されたグラフがc個のクラスタまたはクラスに対して正確にc個の連結成分を持つように保証。
• 非凸最適化問題を交替方向スケーリング法により解き、最適カーネルおよびグラフのエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 一貫性カーネルからの摂動としてカーネルをモデル化するマルチカーネル学習フレームワークは、従来のMKL手法を上回り、クラスタリングおよび半教師付き分類において優れた性能を示せるか？
• RQ2 一貫性カーネルへの近さに基づく自動カーネル重み付けは、追加のハイパーパrameterの必要性を排除し、性能を向上させられるか？
• RQ3 カーネル学習、グラフ構築、ラベル学習を統合したフレームワークは、分離されたアプローチよりも優れた性能を達成できるか？
• RQ4 提案手法は、多様なベンチマークデータセットにおいて、最先端の手法と比較して精度と頑健性に優れているか？
• RQ5 自己重み付け機構は、標準的な凸MKL定式化と比較して、より安定的かつ代表的なカーネル組み合わせを生成できるか？

主な発見

• 提案されたSMKL手法は、YALE、JAFFE、BA、COIL20を含む複数のベンチマークデータセットにおいて、クラスタリングおよび半教師付き分類の両タスクで最先端の手法を顕著に上回った。
• YALEデータセットでは、50%のラベル付きデータで84.67%の精度を達成し、2番目に優れた手法（S3R：84.45%）を上回り、一貫した優位性を示した。
• COIL20データセットでは、50%のラベル付きデータで99.97%の精度を達成し、SCAN（97.53%）およびS3R（97.87%）を上回り、視覚的オブジェクト認識における有効性を強力に示した。
• すべてのデータセットおよびラベル割合において、平均性能が最良であり、標準偏差も一貫して低く、頑健性を示した。
• 自己重み付け機構は、追加のパrameterを導入せずに、より代表的なカーネルに高い重みを割り当てることに成功し、一般化性能を向上させた。
• 実験結果により、提案フレームワークがカーネル、グラフ、ラベル学習の相互最適化を可能にし、クラスタリングおよび半教師付き分類の両方の性能を向上させることを確認した。