[論文レビュー] Stochastic Sparse Subspace Clustering

Ying Chen, Chun-Guang Li+1 more|arXiv (Cornell University)|May 4, 2020

Face and Expression Recognition参考文献 64被引用数 4

ひとこと要約

本稿では、ドロップアウトを自己表現モデルに適用することで疎な表現の過剰な疎性を緩和し、より密な表現を誘導するスケーラブルで柔軟な手法、Stochastic Sparse Subspace Clustering (S3COMP) を提案する。これにより、部分空間の接続性が向上し、過剰分割が軽減される。最適化を小さな部分問題の集合に関する一貫性問題に再定式化することで、S3COMPは大規模データセットにおいて最先端の性能を達成し、クラスタリング精度と接続性が向上する。

ABSTRACT

State-of-the-art subspace clustering methods are based on self-expressive model, which represents each data point as a linear combination of other data points. By enforcing such representation to be sparse, sparse subspace clustering is guaranteed to produce a subspace-preserving data affinity where two points are connected only if they are from the same subspace. On the other hand, however, data points from the same subspace may not be well-connected, leading to the issue of over-segmentation. We introduce dropout to address the issue of over-segmentation, which is based on randomly dropping out data points in self-expressive model. In particular, we show that dropout is equivalent to adding a squared $\ell_2$ norm regularization on the representation coefficients, therefore induces denser solutions. Then, we reformulate the optimization problem as a consensus problem over a set of small-scale subproblems. This leads to a scalable and flexible sparse subspace clustering approach, termed Stochastic Sparse Subspace Clustering, which can effectively handle large scale datasets. Extensive experiments on synthetic data and real world datasets validate the efficiency and effectiveness of our proposal.

研究の動機と目的

• 疎部分空間クラスタリング（SSC）における過剰分割を解消すること。これは、同じ部分空間に属する点同士が、過剰に疎な表現のためうまく接続されないことが原因である。
• ドロップアウトを正則化機構として導入することで、より密な係数解を誘導し、部分空間の接続性を向上させること。
• 小規模な部分問題を確率的最適化によって解くことで、超大規模データセットを効率的に処理できるスケーラブルでメモリ効率の良いアルゴリズムを開発すること。
• 実世界および合成データにおいて、部分空間保存性を維持しながらクラスタリング性能を向上させる柔軟なフレームワークを提供すること。

提案手法

• 係数推定の過程でデータ行列 X の列をランダムに削除することでドロップアウトを適用し、これにより表現係数に ℓ₂ 正則化が暗黙的に追加される。
• 本手法は、確率的サンプリングによって生成された多数の小規模部分問題に関する一貫性最適化として、疎部分空間クラスタリング問題を再定式化する。
• 最終的な表現は、複数回の確率的試行からの解の重み付き平均として計算され、非ゼロエントリはその頻度と大きさに基づいて集約される。
• ドロップアウトと ℓ₂ 正則化の等価性を活用し、純粋な ℓ₁ に基づくスパarsity よりも、より密で頑健な係数ベクトルを促進する。
• アルゴリズムは反復的に実装され、外側の反復におけるサポートサイズとクラスタリング精度の安定性をモニタリングすることで収束を評価する。
• ハイパーパramータのチューニングは固有値ギャップ解析とデータセットサイズに従い、大規模データセットでは高いドロップアウト率 δ を使用する。

実験結果

リサーチクエスチョン

• RQ1 ドロップアウトを用いることで、スパarsity やスケーラビリティを損なわずに、疎部分空間クラスタリングにおける部分空間接続性を効果的に向上させることができるか？
• RQ2 小規模部分問題に基づく確率的最適化フレームワークは、過剰分割を低減させつつ、部分空間保存性を維持できるか？
• RQ3 実世界データセットにおいて、S3COMPは SSCOMP や他の最先端手法と比較して、クラスタリング精度と接続性の点で優れているか？
• RQ4 ハイパーパrameter δ（ドロップアウト率）と λ（正則化強度）が、アルゴリズムの性能と安定性に与える影響は何か？

主な発見

• S3COMP および S3COMP-C は、すべての実世界データセットで SSCOMP よりも顕著に高い平均接続性（c̄）を達成しており、MNIST70000 では 0.1883、GTSRB でも 0.1883 の向上を示した。
• Extended Yale B および COIL100 において、S3COMP-C はそれぞれ平均接続性 0.0667 および 0.0077 を達成し、SSCOMP の 0.0381 および 0.0060 を上回った。
• S3COMP-C のクラスタリング精度は数回の外側反復内に安定し、すべてのデータセットでサポートサイズがたった 2〜3 回の反復で安定した。
• λ について [0.1, 1.0] の範囲でパラメータ選択に対して頑健であり、接続性の向上が顕著な場合、性能は λ に対してあまり敏感ではなかった。
• S3COMP-C は MNIST4000（95.2%）、MNIST10000（94.8%）、MNIST70000（94.5%）で最高のクラスタリング精度を達成し、SSCOMP や EnSC を上回った。
• 頻度重み付き平均によるコンSENSUS解（S3COMP*）の使用は、単純平均よりも接続性と精度をさらに向上させた。