[論文レビュー] Adaptive Low-Rank Kernel Subspace Clustering

Pan Ji, Ian Reid+3 more|arXiv (Cornell University)|Jul 17, 2017

Face and Expression Recognition参考文献 43被引用数 25

ひとこと要約

本稿では、統合最適化フレームワーク内で、自己表現性を持つ自己相関行列と適応的低ランクカーネル写像を同時に学習する、新しいカーネル部分空間クラスタリング手法である適応的低ランクカーネル部分空間クラスタリング（ALRKSC）を提案する。従来の固定カーネルを用いる手法とは異なり、ALRKSCは特徴空間に写像されたデータが、低ランクかつ自己表現的であることを保証する。これにより、非線形部分空間構造のより良い回復が可能になる。本手法は、モーショントラジェクトリのセグメンテーションと画像クラスタリングのベンチマークで最先端の性能を達成し、線形部分空間クラスタリングおよび事前定義されたカーネルを用いるカーネル手法を著しく上回る。

ABSTRACT

In this paper, we present a kernel subspace clustering method that can handle non-linear models. In contrast to recent kernel subspace clustering methods which use predefined kernels, we propose to learn a low-rank kernel matrix, with which mapped data in feature space are not only low-rank but also self-expressive. In this manner, the low-dimensional subspace structures of the (implicitly) mapped data are retained and manifested in the high-dimensional feature space. We evaluate the proposed method extensively on both motion segmentation and image clustering benchmarks, and obtain superior results, outperforming the kernel subspace clustering method that uses standard kernels[Patel 2014] and other state-of-the-art linear subspace clustering methods.

研究の動機と目的

• 事前定義されたカーネルを用いる従来のカーネル部分空間クラスタリング手法の限界、すなわち特徴空間における低ランク構造を保証しない点を解決すること。
• 非線形データの部分空間構造を保存・活用できるように、低ランクカーネル写像と自己表現性を持つ相関行列を同時に最適化する手法を開発すること。
• 視覚的変化や透視歪みを伴うモーショントラジェクトリや、表情変化を伴う顔貌画像など、非線形多様体を持つ実世界のデータセットにおけるクラスタリング精度の向上を図ること。
• SSCおよびLRRを主な対象として、自己表現性に基づく部分空間クラスタリング手法に一般化可能なフレームワークを提供すること。
• 適応的カーネル学習が、固定カーネルおよび線形部分空間クラスタリング手法に比べて優れた性能を発揮することを示すこと。

提案手法

• 本手法は、特徴空間における写像データが低ランクかつ自己表現的であるように、低ランクカーネル行列 K を同時に学習する統合最適化問題を定式化する。
• ベースとなるカーネル行列 K_G を用い、制約付き最適化問題を通じて低ランクカーネル写像 K と自己表現係数行列 C を同時に最適化する。
• 各部分問題に対して閉形式解が得られるため、交替方向ラグランジュ乗数法（ADMM）を用いて最適化を効率的に行う。
• 自己表現性を制約 X = X C で強制し、C の対角成分をゼロに設定することで自明な解を回避する。
• C および K に核ノルム正則化を組み込むことで、低ランク構造を促進し、相関行列のスパarsityを強化する。
• カーネル関数 K_G は手動で選択される（例：多項式カーネルまたはRBFカーネル）、その後、データの内在的構造に適合するように、教師なしでカーネル写像を適応的に学習する。

実験結果

リサーチクエスチョン

• RQ1 固定カーネル手法と比較して、適応的低ランクカーネル写像は非線形データにおける部分空間クラスタリング性能を向上させることができるか？
• RQ2 カーネル写像と自己表現性を持つ相関行列を同時に最適化することで、特徴空間における低次元部分空間構造の回復がより良くなるか？
• RQ3 軽度の非線形性を示すデータセットにおいて、提案手法は最先端の線形部分空間クラスタリング手法を上回る性能を発揮するか？
• RQ4 ORL のような各部分空間のサンプル数が少ないデータセット（例：1人あたり10枚の画像）において、本手法は線形および固定カーネル手法が苦戦する状況でも優れた性能を示すか？
• RQ5 COIL-100 のような中程度の非線形性を示すデータセット（固定カーネル手法が線形手法を上回る）において、本手法は優れた性能を維持できるか？

主な発見

• Hopkins155 動作分類データセットでは、ALRKSCは 98.04% のクラスタリング精度を達成し、SSC（64.38%）および KSSC より顕著に優れている。
• 拡張版Yale B データセットでは、ALRKSCは SSC よりもクラスタリング誤差を半減以下に抑え、すべての線形およびカーネルベースラインを上回る性能を示した。
• ORL データセットでは、ALRKSCは常に SSC や KSSC を上回り、特に「極めて少数のサンプル」（例：1人あたり10枚の画像）の状況下でも、サンプル数が少ない状況へのロバスト性を示した。
• COIL-100 データセットでは、ALRKSCはすべてのベースラインと比較して最も低いクラスタリング誤差を記録し、回転変化や中程度の非線形性を示す物体画像に対して有効であることを確認した。
• ALRKSCは、Hopkins155 において、線形部分空間モデルにほぼ適合するデータが多く存在するが、線形対応手法を上回る最初のカーネル部分空間クラスタリング手法である。
• 本手法は、多様なベンチマークにおいて一貫した優位性を示し、非線形部分空間構造の保存と活用に適応的低ランクカーネル学習が有効であることを裏付けた。