[論文レビュー] Unsupervised Feature Analysis with Class Margin Optimization

Sen Wang, Feiping Nie+4 more|arXiv (Cornell University)|Jun 3, 2015

Face and Expression Recognition参考文献 30被引用数 13

ひとこと要約

本稿では、K-means埋め込みフレームワークとℓ₂,ₚノルム正則化を用いて、クラスマージンと特徴相関を同時に最適化する非教師付き特徴選択手法を提案する。K-meansから得られる疑似ラベルを活用し、特徴係数行列のスパarsityを強制することで、判別性の高い特徴を効果的に同定し、収束保証付きで6つのベンチマークデータセットにおいて優れた性能を達成する。

ABSTRACT

Unsupervised feature selection has been always attracting research attention in the communities of machine learning and data mining for decades. In this paper, we propose an unsupervised feature selection method seeking a feature coefficient matrix to select the most distinctive features. Specifically, our proposed algorithm integrates the Maximum Margin Criterion with a sparsity-based model into a joint framework, where the class margin and feature correlation are taken into account at the same time. To maximize the total data separability while preserving minimized within-class scatter simultaneously, we propose to embed Kmeans into the framework generating pseudo class label information in a scenario of unsupervised feature selection. Meanwhile, a sparsity-based model, ` 2 ,p-norm, is imposed to the regularization term to effectively discover the sparse structures of the feature coefficient matrix. In this way, noisy and irrelevant features are removed by ruling out those features whose corresponding coefficients are zeros. To alleviate the local optimum problem that is caused by random initializations of K-means, a convergence guaranteed algorithm with an updating strategy for the clustering indicator matrix, is proposed to iteractively chase the optimal solution. Performance evaluation is extensively conducted over six benchmark data sets. From plenty of experimental results, it is demonstrated that our method has superior performance against all other compared approaches.

研究の動機と目的

• 教師なし特徴選択においてラベルデータが存在しない状況で、従来の手法が判別的ガイダンスを欠くという課題に対処すること。
• 真のラベルが存在しない状況で、クラス間マージンを最大化し、クラス内分散を最小化することで特徴選択の性能を向上させること。
• スパarsity誘導型のℓ₂,ₚノルム正則化を用いて特徴相関を活用し、ノイズや関連のない特徴を除去すること。
• K-means初期化に起因する局所最適解の問題を克服するため、収束保証付きの反復的更新戦略を導入すること。
• クラスタリングと特徴選択を統合した一貫性のある埋め込みフレームワークを構築すること。

提案手法

• 最大マージン基準（MMC）とスパarsityに基づくモデルを統合し、クラス間分離性を最大化するとともに、クラス内分散を最小化する。
• 最適化フレームワークにK-meansクラスタリングを埋め込み、教師なし設定においてマージン最大化をガイドする疑似ラベルを生成する。
• 特徴係数行列にℓ₂,ₚノルム正則化を適用し、スパarsityを誘導することで、関連のないおよびノイズの多い特徴を効果的に削除する。
• クラスタリングインジケータ行列の収束保証付き更新戦略を導入した反復的アルゴリズムを開発し、ランダムなK-means初期化に起因する局所最適解を回避する。
• 非凸最適化問題を、目的関数値を単調に増加させる交替方向スケーリング法で解く。
• クラスタ数を固定し、特徴係数とクラスタ割り当てを繰り返し更新することで、特徴選択と疑似ラベルの最適化を進める。

実験結果

リサーチクエスチョン

• RQ1 グラフフリーな非教師付き特徴選択手法が、クラスマージンと特徴相関を同時に最適化することで、優れた性能を達成できるか？
• RQ2 K-meansからの疑似ラベルを組み込むことで、真のラベルが存在しない状況での特徴選択性能がどのように向上するか？
• RQ3 ℓ₂,ₚノルム正則化が、スパースかつ相関のある特徴構造を促進することで、どの程度特徴選択性能を向上させるか？
• RQ4 提案された収束保証付きアルゴリズムは、K-means初期化に起因する局所最適解の問題を効果的に緩和できるか？
• RQ5 正則化パラメータα、β、pの選択にどの程度感度を示すか？

主な発見

• 提案手法は6つのベンチマークデータセットすべてで最高の正解率を達成し、COIL20では800個の特徴を選択した際、ピーク性能0.7475を記録した。
• MNISTでは全特徴を使用した場合の正解率が0.6392であったが、600個の特徴を選択することで0.7813に向上し、最適な特徴サブセット選択が学習を向上させることを示した。
• β = 0（特徴相関の活用なし）の場合、正解率は著しく低下する（例：COIL20では0.6993）ことから、特徴相関の学習が性能向上に不可欠であることが示された。
• COIL20ではβ = 10¹でピーク正解率0.7285を記録し、ℓ₂,ₚノルム正則化による適切なスパarsity度が結果を著しく向上させることを示した。
• 目的関数値は反復回数に伴い単調に増加し、COIL20、MNIST、USPSでは8ステップ以内に収束した。これにより、アルゴリズムの収束性と効率性が確認された。
• パラメータ感度分析から、α、β、pの値の範囲で性能が安定しており、特にα = 10⁻¹、β = 10⁻¹、p = 1.0の組み合わせで最適性能が達成された。