[論文レビュー] Doubly Stochastic Subspace Clustering

Derek Lim, Renè Vidal+1 more|arXiv (Cornell University)|Nov 30, 2020

Face and Expression Recognition参考文献 54被引用数 16

ひとこと要約

本稿では、自己表現表現と二重確率的類似度行列を同時に学習することで、部分空間クラスタリングを向上させる統合的フレームワークであるDoubly Stochastic Subspace Clustering (DSSC)を提案する。最適化の過程で二重確率的正規化を直接制約することで、後続処理に依存しない手法となり、ベンチマークデータセットで最先端の性能を達成するとともに、アクティブセット法を用いることで大規模な計算を効率的に行える。

ABSTRACT

Many state-of-the-art subspace clustering methods follow a two-step process by first constructing an affinity matrix between data points and then applying spectral clustering to this affinity. Most of the research into these methods focuses on the first step of generating the affinity, which often exploits the self-expressive property of linear subspaces, with little consideration typically given to the spectral clustering step that produces the final clustering. Moreover, existing methods often obtain the final affinity that is used in the spectral clustering step by applying ad-hoc or arbitrarily chosen postprocessing steps to the affinity generated by a self-expressive clustering formulation, which can have a significant impact on the overall clustering performance. In this work, we unify these two steps by learning both a self-expressive representation of the data and an affinity matrix that is well-normalized for spectral clustering. In our proposed models, we constrain the affinity matrix to be doubly stochastic, which results in a principled method for affinity matrix normalization while also exploiting known benefits of doubly stochastic normalization in spectral clustering. We develop a general framework and derive two models: one that jointly learns the self-expressive representation along with the doubly stochastic affinity, and one that sequentially solves for one then the other. Furthermore, we leverage sparsity in the problem to develop a fast active-set method for the sequential solver that enables efficient computation on large datasets. Experiments show that our method achieves state-of-the-art subspace clustering performance on many common datasets in computer vision.

研究の動機と目的

• 既存の部分空間クラスタリング手法に見られる、原則的でない類似度正規化の欠如を是正すること。多くの手法が任意の後続処理に依存していることが問題視される。
• 自己表現表現の学習と類似度行列の正規化を、一つの最適化フレームワークに統合すること。
• スパarsityと接続性を維持しつつ、スペクトルクラスタリングに適した良好に正規化された類似度を得られるスケーラブルな手法を開発すること。
• 類似度の後処理や正規化戦略における任意のハイパーパrameterに依存しないようにすること。
• 原則的正規化と統合最適化により、標準的なコンピュータビジョンデータセットで最先端のクラスタリング精度を達成すること。

提案手法

• 自己表現係数行列Cと二重確率的類似度行列Aを同時に学習する統合最適化モデルを提案する。
• 類似度行列Aが二重確率的（行と列の和が1に等しい）であることを制約として課すことにより、スペクトルクラスタリングに適した正規化済みの行列が得られ、追加の正規化処理が不要になる。
• CとAを交互に最適化する逐次ソルバを構築し、スパarsityを活用するアクティブセット法を用いて大規模計算を効率化する。
• Cに正則化項を導入してスパarsityと部分空間固有の表現を促進するとともに、最適化制約によりAが二重確率的であることを強制する。
• 初期値としてCの対称化および正則化版を用いるが、A自体を直接二重確率的であるように最適化することで、任意の後処理を回避する。
• 非凸最適化問題を効率的に解くために、交替方向乗数法（ADMM）フレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 自己表現表現と二重確率的類似度行列を同時に学習することで、部分空間クラスタリングの性能向上が図れるか？
• RQ2 類似度行列に二重確率的正規化を課すことで、任意の後処理の必要性がなくなり、スペクトルクラスタリングの安定性が向上するか？
• RQ3 提案手法が、Yale-B、COIL、MNISTなどの標準的な部分空間クラスタリングベンチマークで最先端の性能を達成できるか？
• RQ4 アクティブセット法は、スパarsityとクラスタリング精度を保持しつつ、大規模データセットにどのようにスケーリングできるか？
• RQ5 正則化パラメータη1、η2、η3の選択が、クラスタリング性能および類似度構造に与える影響は何か？

主な発見

• 提案されたJ-DSSCおよびA-DSSCモデルは、Extended Yale-B、COIL-100、UMIST、ORL、MNIST、EMNISTデータセットで最先端のクラスタリング精度を達成した。
• Extended Yale-Bデータセットでは、DSSCが98.7%のクラスタリング精度を達成し、SSC、EnSC、LSR、LRSCを上回った。
• アクティブセット法を用いたA-DSSCモデルは、145,600サンプルを含むEMNISTのような大規模データセットに対しても、高い精度を維持した上で効率的にスケーリングできた。
• DSSCが生成する二重確率的類似度行列Aは、元々正規化済みであり、スペクトルクラスタリングに際して追加の後処理を一切不要としている。
• 実験により、η2の選択がCに明示的なスパarsity正則化を課さなくても、類似度行列のスパarsityを制御できることを示した。これは、接続性とスパarsityの両方の制御が可能であることを示している。
• COIL-100やUMISTなどの複数のデータセットにおいて、DSC-Netや他のディープラーニングベースラインを大きく上回る精度向上を達成した。