[論文レビュー] Learning Transformations for Clustering and Classification

Qiang Qiu, Guillermo Sapiro|arXiv (Cornell University)|Sep 9, 2013

Face and Expression Recognition参考文献 33被引用数 16

ひとこと要約

本稿では、核ノルム最小化を用いて部分空間内の低ランク構造を回復させるとともに、部分空間間の分離を最大化する線形変換を学習することで、部分空間クラスタリングおよび分類を向上させる低ランク変換学習フレームワークを提案する。この手法は、実世界のデータセットにおいて、部分空間内変動を低減し、部分空間間分離性を向上させることで、クラスタリングおよび分類の精度を顕著に向上させる。

ABSTRACT

A low-rank transformation learning framework for subspace clustering and classification is here proposed. Many high-dimensional data, such as face images and motion sequences, approximately lie in a union of low-dimensional subspaces. The corresponding subspace clustering problem has been extensively studied in the literature to partition such high-dimensional data into clusters corresponding to their underlying low-dimensional subspaces. However, low-dimensional intrinsic structures are often violated for real-world observations, as they can be corrupted by errors or deviate from ideal models. We propose to address this by learning a linear transformation on subspaces using matrix rank, via its convex surrogate nuclear norm, as the optimization criteria. The learned linear transformation restores a low-rank structure for data from the same subspace, and, at the same time, forces a a maximally separated structure for data from different subspaces. In this way, we reduce variations within subspaces, and increase separation between subspaces for a more robust subspace clustering. This proposed learned robust subspace clustering framework significantly enhances the performance of existing subspace clustering methods. Basic theoretical results here presented help to further support the underlying framework. To exploit the low-rank structures of the transformed subspaces, we further introduce a fast subspace clustering technique, which efficiently combines robust PCA with sparse modeling. When class labels are present at the training stage, we show this low-rank transformation framework also significantly enhances classification performance. Extensive experiments using public datasets are presented, showing that the proposed approach significantly outperforms state-of-the-art methods for subspace clustering and classification.

研究の動機と目的

• 顔画像やモーショントラジェクトリなどの実世界の高次元データにおける低次元内在構造の劣化を緩和すること。
• データ欠損、ポーズ変化、非ラムベールト効果などの影響下でも、部分空間クラスタリング手法のロバスト性を向上させること。
• 核ノルムに基づく最適化を用いて、クラスタリングおよび分類性能を向上させる変換学習フレームワークを構築すること。
• ロバストPCAとスパースモデリングを組み合わせた、高速でスケーラブルな部分空間クラスタリング手法を開発すること。
• 学習された変換が他の分類フレームワークへも一般化可能であることを示すこと。

提案手法

• 変換されたデータ行列の核ノルムを最小化する線形変換行列 T を学習する部分空間低ランク変換（LRT）フレームワークを提案する。
• 非凸問題を解くために、凸部分問題の逐次解法を用いる D.C.（凸関数の差）最適化アプローチを用いる。
• ||T||₂ = γ のノルム制約を維持し、自明な解を避けるために、係数正規化を伴う部分勾配法を採用する。
• 変換されたデータ上にロバストPCAとスパースモデリングを組み合わせることで、高速な部分空間クラスタリング手法を導入する。
• 学習された変換をクラスタリングおよび分類タスクに適用し、訓練時にクラスラベルを活用することで識別性能を向上させる。
• 最適化プロセスにおいて、核ノルムの勾配を計算するために特異値分解（SVD）と超微分計算を用いる。

実験結果

リサーチクエスチョン

• RQ1 実世界のノイズ下でも、同じ部分空間内におけるデータの低ランク構造を、線形変換の学習によって改善できるか？
• RQ2 部分空間間の核ノルム分離を最大化することで、クラスタリングおよび分類性能が向上するか？
• RQ3 提案された変換は、既存の部分空間クラスタリング手法に効率的に適用可能か？
• RQ4 公開データセットにおいて、学習された変換は最先端手法と比較して、精度およびロバスト性の面で優れているか？
• RQ5 学習された変換は、他の分類フレームワークへの転送性をどの程度有しているか？

主な発見

• 提案された学習済みロバスト部分空間クラスタリング（LRSC）フレームワークは、拡張Yale BおよびCMU PIE顔データセットを含む公開データセットにおいて、最先端の部分空間クラスタリング手法を顕著に上回る性能を示した。
• 学習された変換は部分空間内ばらつきを低減し、部分空間間分離性を向上させたことが図1の可視化で示された。同じ被験者の異なるポーズからの顔画像が、変換後はより類似した外観を示している。
• 訓練時にクラスラベルが利用可能な場合、分類精度が向上し、識別的学習の有効性が裏付けられた。
• 単一の部分勾配ステップでさえも、実験的に収束が観察されたことから、D.C.手続きの簡略化が妥当であることが検証された。
• ||T||₂ = γ のノルム制約は、自明な解を避けるために極めて重要であり、係数正規化により最適化の安定性が確保された。
• SVDとランダム行列生成を用いることで、核ノルムの超微分が効率的に計算可能となり、スケーラブルな最適化が実現された。