[論文レビュー] Kernelized Low Rank Representation on Grassmann Manifolds

Boyue Wang, Yongli Hu+3 more|arXiv (Cornell University)|Apr 8, 2015

Sparse and Compressive Sensing Techniques参考文献 64被引用数 6

ひとこと要約

本稿では、データ多様体の内在的幾何構造を活用することで、部分空間クラスタリングの性能を向上させるために、グラスマン多様体上でのカーネル化された低ランク表現（KGLRR）モデルを提案する。グラスマン多様体のデータを対称行列に埋め込み、カーネル法を適用することで、優れたクラスタリング精度を達成した—特に顔画像および交通映像データにおいて、ノイズや外れ値の影響を受けても最先端の手法を上回った。

ABSTRACT

Low rank representation (LRR) has recently attracted great interest due to its pleasing efficacy in exploring low-dimensional subspace structures embedded in data. One of its successful applications is subspace clustering which means data are clustered according to the subspaces they belong to. In this paper, at a higher level, we intend to cluster subspaces into classes of subspaces. This is naturally described as a clustering problem on Grassmann manifold. The novelty of this paper is to generalize LRR on Euclidean space onto an LRR model on Grassmann manifold in a uniform kernelized framework. The new methods have many applications in computer vision tasks. Several clustering experiments are conducted on handwritten digit images, dynamic textures, human face clips and traffic scene sequences. The experimental results show that the proposed methods outperform a number of state-of-the-art subspace clustering methods.

研究の動機と目的

• 従来のユークリッド空間における低ランク表現（LRR）の制限を解決する。LRRは線形なデータ構造を仮定しており、高次元データにおける非線形多様体の幾何構造を捉えることができない。
• グラスマン多様体の内在的幾何的性質を活用することで、LRRを一般化し、自然に非線形多様体上に存在するデータのより正確なクラスタリングを可能にする。
• 非ガウス分布のノイズおよび外れ値に対処できる、ロバストな最適化モデル（GLRR-F および GLRR-21）を用いた、LRRのカーネル化フレームワークを構築する。
• 顔のクラスタリング、動的テクスチャ解析、交通シーン分類といった、実世界のコンピュータビジョンタスクにおける本手法の有効性を示す。

提案手法

• 非線形写像を用いてグラスマン多様体のデータを対称行列の空間に埋め込み、ユークリッドベースの最適化を可能にするとともに、多様体の幾何構造を保持する。
• スチャッテン-pノルムのペナルティを課したランク制約付き最適化問題を最小化する、グラスマン多様体上での一般化された低ランク表現（GLRR）モデルを提案する。
• 2つのロバストな変種を導入：GLRR-F（ガウスノイズ用、核ノルムを用いる）、GLRR-21（非ガウスノイズと外れ値に対応、表現誤差にℓ1ノルムを用いる）。
• 特異値しきい値処理を用いてGLRR-Fの閉形式解を導出することで、効率的な計算を実現する。
• グラスマン多様体上に特化した2つのカーネル関数を、カーネル化されたGLRRフレームワークに統合し、データ内の非線形関係を捉える。
• 学習されたアフィニティ行列に対してスペクトルクラスタリング（例：正規化カット）を適用し、最終的なクラスタリング結果を取得する。

実験結果

リサーチクエスチョン

• RQ1 ユークリッド空間からグラスマン多様体へ低ランク表現を効果的に一般化できるか？ これにより部分空間クラスタリングの性能が向上するか？
• RQ2 グラスマン多様体の内在的幾何構造を組み込むことで、高次元データにおけるノイズおよび外れ値に対してLRRのロバスト性がどのように向上するか？
• RQ3 顔画像や映像シーケンスに見られるような非線形多様体上への応用において、LRRにカーネル化を適用した際の性能にどのような影響を与えるか？
• RQ4 提案されたロバストな変種（GLRR-F および GLRR-21）は、標準的なLRRおよびSSCと比較して、異なるノイズモデルをどのように処理できるか？
• RQ5 実世界のビジョンデータセットにおいて、カーネル化されたGLRRフレームワークは、最先端の部分空間クラスタリング手法をどの程度上回るか？

主な発見

• UCSD交通データセット（48×48フレームサイズ）において、KGLRR-cc+projは89.72%の精度を達成し、SSC（66.43%）およびLRR（68.38%）を大きく上回った。
• YTC顔データセットでは、4クラスの場合にKGLRR-cc+projが90.85%の精度を達成し、SCGSM（4クラスで52.82%）およびGLRR-21（4クラスで69.72%）を上回った。7クラスの場合には81.74%の精度を記録した。
• カーネル化されたGLRRモデルは、クラス数の増加やノイズ環境下でも優れた安定性とロバスト性を示した。
• GLRR-Fは閉形式解を達成し、効率的な最適化が可能であった。一方、GLRR-21は非ガウスノイズに伴う外れ値に対しても効果的に対処した。
• グラスマン多様体用カーネル関数を統合したカーネル化フレームワークにより、非線形アフィニティの学習が向上し、すべてのデータセットで一貫して高いクラスタリング精度が得られた。
• 高メモリ使用量のため、GLRR-21は計算制約の影響を受けて結果が最適でなかったが、実行時には強力な性能を示した。