[論文レビュー] Fixed-Rank Representation for Unsupervised Visual Learning

Risheng Liu, Zhouchen Lin+2 more|arXiv (Cornell University)|Mar 9, 2012

Sparse and Compressive Sensing Techniques参考文献 23被引用数 68

ひとこと要約

本稿では、固定ランク表現（FRR）と呼ばれる、データを2つの低ランク行列の積としてモデル化することで、耐障害性のある部分空間クラスタリングと特徴抽出を可能にする、新しい教師なし視覚学習フレームワークを提案する。FRRは、データが不足している場合でさえも真の部分空間構造を明らかにし、合成および実世界のデータセット（FRGC-Caltechを含む）を用いた実験により、クラスタリングおよび特徴抽出で最先端の性能を達成する。

ABSTRACT

Subspace clustering and feature extraction are two of the most commonly used unsupervised learning techniques in computer vision and pattern recognition. State-of-the-art techniques for subspace clustering make use of recent advances in sparsity and rank minimization. However, existing techniques are computationally expensive and may result in degenerate solutions that degrade clustering performance in the case of insufficient data sampling. To partially solve these problems, and inspired by existing work on matrix factorization, this paper proposes fixed-rank representation (FRR) as a unified framework for unsupervised visual learning. FRR is able to reveal the structure of multiple subspaces in closed-form when the data is noiseless. Furthermore, we prove that under some suitable conditions, even with insufficient observations, FRR can still reveal the true subspace memberships. To achieve robustness to outliers and noise, a sparse regularizer is introduced into the FRR framework. Beyond subspace clustering, FRR can be used for unsupervised feature extraction. As a non-trivial byproduct, a fast numerical solver is developed for FRR. Experimental results on both synthetic data and real applications validate our theoretical analysis and demonstrate the benefits of FRR for unsupervised visual learning.

研究の動機と目的

• 教師なし視覚学習における既存の低ランクおよびスパース表現手法の計算非効率性と退化解の問題に対処すること。
• データのサンプリングが不十分な場合でさえも、複数の部分空間構造を明らかにする統一フレームワークの開発。
• 内在的なデータ構造をモデル化し、スパース正則化子によってノイズや外れ値を除去することで、耐障害性の高い特徴抽出を実現すること。
• 反復的SVD計算を回避する固定ランク表現の高速でスケーラブルなソルバーの開発。

提案手法

• FRRは、表現行列を2つの低ランク行列ZとXの積としてパrameter化することで、固定ランク構造を強制する。
• 本手法は、固定ランク制約の下で再構成誤差を最小化する非凸最適化問題を解き、ノイズおよび外れ値に対処するためのスパース正則化子を導入する。
• 線形化とSVD加速を組み合わせた交替方向乗数法（ADMM）に基づく高速数値ソルバーを提案する。
• 顔の内在的特徴を保持する低次元部分空間を学習するために、転置FRR（TFRR）を特徴抽出に適用する。
• 分解式 X = ZX + E における誤差項Eを用いて、顔以外の外れ値および汚染物を検出・除去する。
• 理論的に、適切な条件下では、観測が不十分であっても真の部分空間所属関係を回復可能であることが証明されている。

実験結果

リサーチクエスチョン

• RQ1 データのサンプリングが不十分な場合でも、固定ランク表現フレームワークは真の部分空間構造を回復できるか？
• RQ2 ノイズや汚染状態下で、FRRは既存の低ランクおよびスパース表現手法を上回る部分空間クラスタリングおよび特徴抽出性能を示すか？
• RQ3 FRR分解における誤差項は、視覚データの外れ値検出に効果的に利用できるか？
• RQ4 従来のSVDベースのソルバーと比較して、提案されたFRRソルバーは計算的に効率的かつスケーラブルか？

主な発見

• 理論的分析により、FRRはノイズのない状態で真の部分空間構造を的確に回復し、データが不足している場合でも耐障害性を維持することが示された。
• FRGC-Caltechデータセットにおいて、TFRR 2は80×20のトレーニングサンプルで94.9％の分類精度を達成し、PCA、LPP、NPEを上回った。
• 誤差項Eのl2ノルムを用いた外れ値検出は、80×20+257のデータ分割で99.19％の精度を達成し、汚染物および外れ値の効果的除去を示した。
• 提案されたFRRソルバーは、各反復で完全なSVD計算を回避しており、従来の核ノルム最小化手法と比較して著しく計算効率が向上した。
• 可視化結果から、TFRRに基づく特徴抽出は、照明の変動や遮蔽を抑圧しながら、顔の内在的特徴を効果的に捉えていることが示された。
• FRRは、クラスタリングおよび特徴抽出の両タスクで最先端の性能を達成しており、統一フレームワークとしての多様性を示した。