[論文レビュー] Kernel Sparse Subspace Clustering on Symmetric Positive Definite Manifolds

Ming Yin, Yi Guo+3 more|arXiv (Cornell University)|Jan 4, 2016

Face and Expression Recognition参考文献 21被引用数 3

ひとこと要約

本稿では、対称正定値（SPD）行列のクラスタリングのための新規手法であるリーマン多様体上でのカーネルスパース部分空間クラスタリング（KSSCR）を提案する。この手法は、対称正定値多様体の内在的なリーマン幾何を保ちながら、対称正定値行列を再生核ヒルベルト空間（RKHS）にマップする対数・オルソーインタンジェントカーネルを用いる。KSSCRは、カーネル空間における自己表現モデルを用いてスパース表現を実現し、BrodatzおよびFERETデータセットで最先端のクラスタリング精度を達成した。

ABSTRACT

Sparse subspace clustering (SSC), as one of the most successful subspace clustering methods, has achieved notable clustering accuracy in computer vision tasks. However, SSC applies only to vector data in Euclidean space. As such, there is still no satisfactory approach to solve subspace clustering by ${\it self-expressive}$ principle for symmetric positive definite (SPD) matrices which is very useful in computer vision. In this paper, by embedding the SPD matrices into a Reproducing Kernel Hilbert Space (RKHS), a kernel subspace clustering method is constructed on the SPD manifold through an appropriate Log-Euclidean kernel, termed as kernel sparse subspace clustering on the SPD Riemannian manifold (KSSCR). By exploiting the intrinsic Riemannian geometry within data, KSSCR can effectively characterize the geodesic distance between SPD matrices to uncover the underlying subspace structure. Experimental results on two famous database demonstrate that the proposed method achieves better clustering results than the state-of-the-art approaches.

研究の動機と目的

• 従来のスパース部分空間クラスタリング（SSC）手法は、ユークリッド空間内のベクトルデータに限定されており、対称正定値（SPD）行列を効果的に処理できないという制限を克服すること。
• 非ユークリッド的SPD多様体に線形自己表現モデルを適用する際の課題に対処すること。標準的なユークリッド距離や線形演算では、不正確な表現が生じるためである。
• 高次元の再生核ヒルベルト空間（RKHS）へのSPD行列の埋め込みを、その内在的なリーマン幾何を保持する形で実現するカーネルベースのアプローチを開発すること。
• リーマン多様体構造をカーネルマッピングによって組み込むことで、既存の最先端手法と比較して、SPDデータにおけるクラスタリング性能が向上することを実証すること。

提案手法

• 本手法は、SPD行列を再生核ヒルベルト空間（RKHS）にマップするための対数・オルソーインタンジェントガウスカーネルを用いる。これにより、非線形特徴空間における標準的なスパース部分空間クラスタリング（SSC）の適用が可能になる。
• カーネルは、SPD多様体のリーマン計量に基づき、埋め込みプロセス中に幾何的忠実性を維持するため、対数・オルソーインタンジェント距離を用いて構築される。
• 自己表現モデリングはRKHSで適用され、各SPD行列が他の行列のスパース線形結合として表現される。カーネルトリックを活用することで、高次元空間での明示的計算を回避する。
• 最適化問題は、スパース表現の目的関数を最小化する形に定式化され、核ノルムまたはℓ1正則化項が含まれており、カーネル誘導特徴空間における低ランクかつスパースな解を保証する。
• SPD行列が正の線形結合について閉じているという事実を活用することで、カーネル空間における安定的かつ意味的な幾何演算が可能になる。
• アルゴリズムは、標準的なクラスタリング指標（正確度、正規化相互情報量（NMI））を用いて訓練および評価され、ベンチマークデータセット上で交差検証を用いてハイパーパrameterが最適化される。

実験結果

リサーチクエスチョン

• RQ1 カーネルベースのスパース部分空間クラスタリングの拡張は、SPD行列をその内在的なリーマン幾何を保ちながら効果的に処理できるか？
• RQ2 提案手法KSSCRは、SPDデータに対して既存の部分空間クラスタリング手法（SSC、LRR、LRSCなど）と比較して、クラスタリング正確度および頑健性において優れているか？
• RQ3 対数・オルソーインタンジェントカーネルを組み込むことで、部分空間クラスタリングにおけるSPD行列間の測地線距離の特徴付けがどの程度向上するか？
• RQ4 実世界のSPDデータにおいて、対数・オルソーインタンジェントガウスカーネルのパラメータ（例：γ）の最適設定は何か？
• RQ5 本手法は、リーマン幾何を明示的にモデル化しない既存のカーネル化SSC手法よりも、特に複雑で非線形な多様体データに対して優れているか？

主な発見

• Brodatzテクスチャデータベースでは、KSSCRは2クラスタで100%のクラスタリング正確度、8クラスタで97.85%の正確度を達成し、KSSCEやLRRを含むすべてのベースラインを顕著に上回った。
• FERET顔データベースでは、7つのサブセット全体で平均80.42%のクラスタリング正確度を達成し、同じ設定でSSC（49.33%）、LRSC（78.56%）、LRR（47.54%）を上回った。
• 正規化相互情報量（NMI）の観点から、KSSCRはFERETで平均88.46%のNMIを達成し、KSSCE（83.01%）やLRSC（88.43%）を上回り、構造の保存性に優れていることが示された。
• 対数・オルソーインタンジェントガウスカーネルのパラメータγは性能に顕著な影響を及ぼし、FERETデータセットではγ = 2×10⁻³でピークを示した。これは、カーネルパラメータチューニングの感受性と重要性を示している。
• KSSCRは、BrodatzおよびFERETデータセットの両方で、すべてのテスト設定において最高の正確度およびNMIを一貫して達成し、既存の最先端手法に対する頑健性と優位性を確認した。
• 結果から、カーネルマッピングによるSPD多様体のリーマン幾何の明示的モデル化が、構造を無視または近似する手法と比較して、より正確で意味のある部分空間クラスタリングを実現できることを示した。