[論文レビュー] Semi-supervised Spectral Clustering for Classification

Arif Mahmood, Ajmal Mian|arXiv (Cornell University)|May 22, 2014

Remote-Sensing Image Classification参考文献 37被引用数 3

ひとこと要約

本稿では、共にクラスタリングされた訓練データおよびテストデータからクラス-クラスタ分布を学習することで、画像集合分類を向上させるために、半教師ありスペクトルクラスタリングを活用する新規な分類フレームワーク「Classification Via Clustering (CVC)」を提案する。直接フィードラーベクトル計算（DFVC）アルゴリズムとグラスマン多様体表現を用いることで、5つの標準データセットにおいて最先端の精度を達成するとともに、従来手法に比べて顕著に高速化されている。

ABSTRACT

We propose a Classification Via Clustering (CVC) algorithm which enables existing clustering methods to be efficiently employed in classification problems. In CVC, training and test data are co-clustered and class-cluster distributions are used to find the label of the test data. To determine an efficient number of clusters, a Semi-supervised Hierarchical Clustering (SHC) algorithm is proposed. Clusters are obtained by hierarchically applying two-way NCut by using signs of the Fiedler vector of the normalized graph Laplacian. To this end, a Direct Fiedler Vector Computation algorithm is proposed. The graph cut is based on the data structure and does not consider labels. Labels are used only to define the stopping criterion for graph cut. We propose clustering to be performed on the Grassmannian manifolds facilitating the formation of spectral ensembles. The proposed algorithm outperformed state-of-the-art image-set classification algorithms on five standard datasets.

研究の動機と目的

• 教師なしクラスタリングと教師あり分類の間のギャップを埋めること、特にクラスタがしばしばクラス境界を跨ぐこと。
• 一意のクラス-クラスタ対応を必要としない、汎用的な分類フレームワークの開発。
• 目的関数に境界を強制しないが、ラベル情報のみを停止基準として用いて、最適なクラスタ数を半教師ありで決定すること。
• 新規固有値解法を用いて、すべての固有ベクトルを計算せずに、直接フィードラーベクトルを効率的に計算することで、スペクトルクラスタリングを高速化すること。
• 画像集合分類タスクにおける外れ値へのロバスト性とスケーラビリティの向上。

提案手法

• CVCは、正規化グラフカットに基づく半教師あり階層的クラスタリング（SHC）アルゴリズムを用いて、訓練データおよびテストデータの共通クラスタリングを実行する。
• SHCは、正規化グラフラプラシアンのフィードラーベクトルの符号を用いて、再帰的にクラスタを分割する。ラベルは、プロセスの終了にのみ使用される。
• 直接フィードラーベクトル計算（DFVC）アルゴリズムを提案。シフト逆反復法を用いて、第二小固有値固有ベクトルを効率的に計算する。
• データをグラスマン多様体にマップすることで、複数の多様体表現間でのスペクトルアンサンブル学習を可能にする。
• クラスタ上のクラス確率分布間の分布ベースの距離測度を用いて分類を実行する。
• 複数の次元の多様体からの分類器を統合するモード統合を適用し、早期停止と高速化を実現する。

実験結果

リサーチクエスチョン

• RQ1 クラスタが本質的に複数のクラスにまたがる場合、クラスタリングを分類に効果的に利用できるか？
• RQ2 目的関数に境界を強制しない条件下で、クラス境界を尊重する形で最適なクラスタ数をどのように決定できるか？
• RQ3 すべての固有ベクトルを計算せずに、特に分割に必要な符号のみを求めるために、フィードラーベクトルを効率的に計算できるか？
• RQ4 訓練データとテストデータの共通クラスタリングは、局所的分類手法よりも優れた一般化性能を示すか？
• RQ5 本手法は、画像集合分類における外れ値やノイズの多いサンプルに対して、どの程度ロバストか？

主な発見

• SHCおよびDFVCを組み合わせた提案されたCVCアルゴリズムは、5つの標準データセットにおいて、7つの最先端の画像集合分類アルゴリズムすべてを上回った。
• Hondaデータセット（ギャラリー集合に19%、38%、57%の外れ値を含む）において、CVCアルゴリズムは100%の認識精度を達成した。
• プローブ集合に1～3枚の外れ画像が混入した場合、CVCアルゴリズムはそれぞれ100%、100%、97.43%の認識率を達成した。
• SHCアルゴリズムは、k-means、SSC、SKMSと比較して、平均で1.33倍、3.38倍、16.47倍高速であり、最大で3.77倍、7.03倍、47.0倍の高速化が達成された。
• DFVCアルゴリズムは、低コストカットが存在する場合に速やかに収束し、有利な状況では計算コストを顕著に削減した。
• モード統合により、低次元分類器の過半数が合意した段階で早期終了が可能となり、精度を損なわず分類を高速化した。