[논문 리뷰] Doubly Stochastic Subspace Clustering

Derek Lim, Renè Vidal외 1명|arXiv (Cornell University)|2020. 11. 30.

Face and Expression Recognition참고 문헌 54인용 수 16

한 줄 요약

이 논문은 이중 확률적 유사도 행렬과 자가표현 표현을 동시에 학습함으로써 부분공간 군집화 성능을 향상시키는 통합 프레임워크인 이중 확률적 부분공간 군집(DSSC)을 제안한다. 최적화 과정에서 이중 확률적 정규화를 직접 구현함으로써 후처리 단계를 제거하고, 기준 데이터셋에서 최신 기술 수준의 성능을 달성하며, 활성집합 방법을 통해 대규모 계산을 효율적으로 수행할 수 있다.

ABSTRACT

Many state-of-the-art subspace clustering methods follow a two-step process by first constructing an affinity matrix between data points and then applying spectral clustering to this affinity. Most of the research into these methods focuses on the first step of generating the affinity, which often exploits the self-expressive property of linear subspaces, with little consideration typically given to the spectral clustering step that produces the final clustering. Moreover, existing methods often obtain the final affinity that is used in the spectral clustering step by applying ad-hoc or arbitrarily chosen postprocessing steps to the affinity generated by a self-expressive clustering formulation, which can have a significant impact on the overall clustering performance. In this work, we unify these two steps by learning both a self-expressive representation of the data and an affinity matrix that is well-normalized for spectral clustering. In our proposed models, we constrain the affinity matrix to be doubly stochastic, which results in a principled method for affinity matrix normalization while also exploiting known benefits of doubly stochastic normalization in spectral clustering. We develop a general framework and derive two models: one that jointly learns the self-expressive representation along with the doubly stochastic affinity, and one that sequentially solves for one then the other. Furthermore, we leverage sparsity in the problem to develop a fast active-set method for the sequential solver that enables efficient computation on large datasets. Experiments show that our method achieves state-of-the-art subspace clustering performance on many common datasets in computer vision.

연구 동기 및 목표

• 기존 부분공간 군집 방법에서의 원칙적인 유사도 정규화 부족 문제를 해결하기 위해, 일반적으로 임의의 후처리 단계에 의존하는 것을 방지한다.
• 자기표현 표현 학습과 유사도 행렬 정규화 단계를 하나의 최적화 프레임워크로 통합한다.
• 스팸성과 연결성을 유지하면서 잘 정규화된 유사도를 보장하는 가용성 있는 방법을 개발한다.
• 유사도 후처리 및 정규화 전략에서의 임의적 초모수 의존도를 제거한다.
• 원칙적인 정규화와 통합 최적화를 통해 표준 컴퓨터 비전 데이터셋에서 최신 기술 수준의 군집 정확도를 달성한다.

제안 방법

• 자기표현 계수 행렬 C와 이중 확률적 유사도 행렬 A를 동시에 학습하는 통합 최적화 모델을 제안한다.
• 유사도 행렬 A가 이중 확률적임(행과 열의 합이 모두 1)을 강제함으로써 스펙트럴 군집링을 위해 추가 정규화 없이도 적합한 형태를 확보한다.
• C와 A를 번갈아가며 최적화하는 순차적 솔버를 개발하며, 스파arsity를 활용한 활성집합 방법을 통해 대규모 계산을 효율적으로 수행한다.
• C에 정규화 항을 적용하여 스파arsity와 부분공간 특화 표현을 유도하고, A에 대해 최적화 제약 조건을 통해 이중 확률적 성질을 강제한다.
• 기본값으로 대칭화 및 보정된 C의 변형을 사용하지만, A를 직접적으로 이중 확률적으로 최적화함으로써 임의의 후처리를 회피한다.
• 비볼록 최적화 문제를 효율적으로 해결하기 위해 분할 수식 다중승수법(ADMM) 프레임워크를 활용한다.

실험 결과

연구 질문

• RQ1 자기표현 표현과 이중 확률적 유사도 행렬을 동시에 학습함으로써 부분공간 군집 성능을 향상시킬 수 있는가?
• RQ2 유사도 행렬에 이중 확률적 정규화를 적용함으로써 후처리가 불필요해지고 스펙트럴 군집링의 안정성이 향상되는가?
• RQ3 제안된 방법이 Yale-B, COIL, MNIST와 같은 표준 부분공간 군집 기준 데이터셋에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 활성집합 방법은 스파arsity와 군집 정확도를 유지하면서 대규모 데이터셋에 어떻게 스케일링되는가?
• RQ5 정규화 파rameter η1, η2, η3의 선택이 군집 성능과 유사도 구조에 미치는 영향은 무엇인가?

주요 결과

• 제안된 J-DSSC 및 A-DSSC 모델은 Extended Yale-B, COIL-100, UMIST, ORL, MNIST, EMNIST 데이터셋에서 최신 기술 수준의 군집 정확도를 달성한다.
• Extended Yale-B 데이터셋에서 DSSC는 98.7%의 군집 정확도를 기록하여 SSC, EnSC, LSR, LRSC를 모두 능가한다.
• 활성집합 방법을 적용한 A-DSSC 모델은 EMNIST(145,600개 샘플)와 같이 대규모 데이터셋에 대해 효율적으로 스케일링되며, 높은 정확도를 유지한다.
• DSSC가 생성한 이중 확률적 유사도 행렬 A는 본질적으로 정규화되어 있어 스펙트럴 군집링을 위해 추가 후처리가 필요 없다.
• 실험 결과, η2의 선택이 C에 명시적인 스파arsity 정규화 없이도 유사도 행렬의 스파arsity를 제어함을 보여주며, 연결성과 스파arsity에 대한 제어력을 입증한다.
• COIL-100 및 UMIST 등의 일부 데이터셋에서 DSC-Net 및 기타 딥러닝 기반 베이스라인보다 뚜렷한 정확도 향상을 보였다.