[論文レビュー] Oracle Based Active Set Algorithm for Scalable Elastic Net Subspace Clustering

Chong You, Chun-Guang Li+2 more|arXiv (Cornell University)|May 9, 2016

Face and Expression Recognition参考文献 40被引用数 48

ひとこと要約

本論文は、部分空間の保存性と接続性のバランスをとるためにℓ1およびℓ2正則化を組み合わせた、スケーラブルなエラスティックネット部分空間クラスタリングのためのオラクルベースのアクティブセットアルゴリズムを提案する。幾何学的洞察を活用することで、反復的かつ正当なアクティブセット最適化戦略を用い、大規模データセットを効率的に処理しながら、最先端のクラスタリング精度を達成する。

ABSTRACT

State-of-the-art subspace clustering methods are based on expressing each data point as a linear combination of other data points while regularizing the matrix of coefficients with $\ell_1$, $\ell_2$ or nuclear norms. $\ell_1$ regularization is guaranteed to give a subspace-preserving affinity (i.e., there are no connections between points from different subspaces) under broad theoretical conditions, but the clusters may not be connected. $\ell_2$ and nuclear norm regularization often improve connectivity, but give a subspace-preserving affinity only for independent subspaces. Mixed $\ell_1$, $\ell_2$ and nuclear norm regularizations offer a balance between the subspace-preserving and connectedness properties, but this comes at the cost of increased computational complexity. This paper studies the geometry of the elastic net regularizer (a mixture of the $\ell_1$ and $\ell_2$ norms) and uses it to derive a provably correct and scalable active set method for finding the optimal coefficients. Our geometric analysis also provides a theoretical justification and a geometric interpretation for the balance between the connectedness (due to $\ell_2$ regularization) and subspace-preserving (due to $\ell_1$ regularization) properties for elastic net subspace clustering. Our experiments show that the proposed active set method not only achieves state-of-the-art clustering performance, but also efficiently handles large-scale datasets.

研究の動機と目的

• 部分空間クラスタリングにおける部分空間の保存性と接続性のトレードオフを解決すること。
• エラスティックネット正則化を用いて、大規模データセット向けに計算効率の良いアルゴリズムを開発すること。
• エラスティックネット正則化が部分空間クラスタリングにおいて有効である理由を幾何学的かつ理論的に裏付けること。
• 既存のソルバーよりも優れた、正当に正しいかつスケーラブルな最適化手法を設計すること。

提案手法

• ℓ1ノルムとℓ2ノルムを組み合わせたエラスティックネット正則化を用い、スパarsity（部分空間の保存性のため）と密度（接続性のため）のバランスをとる。
• 解の幾何的性質を活用して、反復的にアクティブ制約を同定するオラクルベースのアクティブセットアルゴリズムを開発する。
• 双対性に基づく停止基準を採用し、解の収束性と正しさを保証する。
• 前回の反復からの解を再利用することで収束を加速するウォームスタート戦略を適用する。
• 変数のアクティブセットに制限された部分問題の逐次解法により最適化問題を解き、計算コストを低減する。
• 残差誤差にℓ2ペナルティを適用し、改善されたロバストネスを実現する元のエラスティックネット定式化に準拠する。

実験結果

リサーチクエスチョン

• RQ1 エラスティックネット正則化を幾何学的にどのように解釈すれば、部分空間の保存性と接続性のバランスを説明できるか？
• RQ2 大規模なエラスティックネット部分空間クラスタリングに対して、正当に正しいかつスケーラブルなアクティブセット法を設計できるか？
• RQ3 エラスティックネット解が部分空間構造を保存する理論的条件は何か？
• RQ4 提案手法は、APG や LADM といった既存のソルバーと比較して、精度と効率の面でどのように異なるか？

主な発見

• 提案手法の EnSC-ORGEN アルゴリズムは、Coil-100、PIE、MNIST、CovType といったベンチマークデータセットで最先端のクラスタリング性能を達成する。
• アルゴリズムは大規模データセットに対しても効率的にスケーリングされ、計算速度において既存手法を上回りながらも高い精度を維持する。
• 理論的分析により、一般条件下で正当に正しいことが示され、先行研究よりも弱い十分条件で部分空間の保存が保証される。
• 幾何的解釈により、ℓ2正則化が、同じ部分空間に属する近隣のデータポイントによってオラクル点が十分にカバーされるようにすることで、接続性を向上させることを明らかにする。
• アクティブセット法により、APG や LADM と比較して計算コストを顕著に低減でき、大規模問題の効率的解法を可能にする。
• 実験的結果により、スパarsityと接続性のトレードオフがエラスティックネットによって効果的にバランスされ、過剰分割が低減される一方で部分空間の保存性は損なわれないことが確認された。