[論文レビュー] Subspace Clustering by Block Diagonal Representation

Canyi Lu, Jiashi Feng+3 more|arXiv (Cornell University)|May 23, 2018

Sparse and Compressive Sensing Techniques参考文献 42被引用数 5

ひとこと要約

本稿では、新しいkブロック対角正則化子を用いて表現行列にブロック対角構造を直接強制する、ブロック対角表現（BDR）と呼ばれる新しい部分空間クラスタリング手法を提案する。従来の手法がスパarsityや低ランク制約を通じて間接的にブロック対角構造を促進するのに対し、BDRは望ましいクラスタ構造を明示的にモデル化するため、MNIST や拡張ヤングBなどの実世界データセットにおいて、クラスタリング精度と効率性の両方が向上する。

ABSTRACT

This paper studies the subspace clustering problem. Given some data points approximately drawn from a union of subspaces, the goal is to group these data points into their underlying subspaces. Many subspace clustering methods have been proposed and among which sparse subspace clustering and low-rank representation are two representative ones. Despite the different motivations, we observe that many existing methods own the common block diagonal property, which possibly leads to correct clustering, yet with their proofs given case by case. In this work, we consider a general formulation and provide a unified theoretical guarantee of the block diagonal property. The block diagonal property of many existing methods falls into our special case. Second, we observe that many existing methods approximate the block diagonal representation matrix by using different structure priors, e.g., sparsity and low-rankness, which are indirect. We propose the first block diagonal matrix induced regularizer for directly pursuing the block diagonal matrix. With this regularizer, we solve the subspace clustering problem by Block Diagonal Representation (BDR), which uses the block diagonal structure prior. The BDR model is nonconvex and we propose an alternating minimization solver and prove its convergence. Experiments on real datasets demonstrate the effectiveness of BDR.

研究の動機と目的

• 多くの既存の部分空間クラスタリング手法に観察されるブロック対角性に関する統一的理論的保証を提供すること。
• スパarsity や低ランク性といった間接的正則化（例：スパarsity、低ランク）の限界を是正すること。
• 表現行列におけるブロック対角構造を直接促進する最初のkブロック対角行列誘導正則化子を提案すること。
• BDRモデルを解く非凸最適化フレームワークを構築し、収束保証を提供すること。
• BDRの有効性と効率性を、実世界の部分空間クラスタリングベンチマークにおいて実証すること。

提案手法

• 表現行列におけるブロック対角構造を直接強制するための新しいkブロック対角正則化子を提案する。
• 新規正則化子を組み込んだ非凸最適化問題として、ブロック対角表現（BDR）モデルを導入する。
• 弱い条件下でも収束を保証する代わりに最小化アルゴリズムを開発し、BDRモデルを解く。
• 最終的なクラスタリングのために、学習されたブロック対角表現に対してスペクトルクラスタリングを適用する。
• ブロック単位の行列構造を介して構造的スパarsityを促進する非凸ペナルティ関数を採用する。
• リャプノフ関数アプローチを用いて解法の収束を分析し、目的関数値の単調減少を証明する。

実験結果

リサーチクエスチョン

• RQ1 さまざまな部分空間クラスタリング手法に観察されるブロック対角性を説明する統一的理論フレームワークは構築可能か？
• RQ2 スパarsity や低ランク性といった間接的事前知識に依存せず、表現行列におけるブロック対角構造を直接促進することは可能か？
• RQ3 専用のkブロック対角正則化子がクラスタリング性能と計算効率に与える影響は何か？
• RQ4 理論的収束保証を伴う非凸BDRモデルを効率的に解くことは可能か？
• RQ5 BDRは、SSC、LRR、S3Cといった最先端手法と比較して、クラスタリング精度と実行時間の両面で優れているか？

主な発見

• BDR-BとBDR-Zは、全テスト対象の被験者数においてMNISTデータセットで最小のクラスタリング誤差を達成し、SSC、LRR、S3C、SCCを上回る。
• BDR-BはSSC や S3C よりも顕著に低い計算時間で実行され、LSRに近い効率性を達成しながらも、優れた精度を維持している。
• 5被験者MNISTサブセットにおいて、アルゴリズム1の目的関数値が反復回数に伴い単調に減少しており、収束解析の妥当性が裏付けられている。
• 提案されたkブロック対角正則化子により、ブロック対角構造の直接的モデリングが可能となり、より正確で頑健なクラスタリングが実現された。
• 制限のない仮定のもとで、代わりに最小化ソルバーの収束が証明されており、実用的信頼性が裏付けられている。
• 本手法は、拡張ヤングBやMNISTを含む実データセットにおいて、一貫した性能向上を示し、優れた一般化能力を示している。