[논문 리뷰] Stochastic Sparse Subspace Clustering

Ying Chen, Chun-Guang Li외 1명|arXiv (Cornell University)|2020. 05. 04.

Face and Expression Recognition참고 문헌 64인용 수 4

한 줄 요약

이 논문은 스파스 서브스페이스 클러스터링에서 과도하게 희소한 표현으로 인해 동일한 서브스페이스에 속한 점들이 잘 연결되지 않는 문제를 해결하기 위해 드롭아웃을 자가표현 모델에 도입하여 더 높은 밀도의 표현을 유도하는 확률적 희소 서브스페이스 클러스터링(S3COMP)을 제안한다. 이를 통해 서브스페이스 연결성 향상과 과도한 클러스터 분할 감소를 달성한다. 최적화 문제를 소규모 하위문제들에 대한 공감 문제로 재구성함으로써 S3COMP는 대규모 데이터셋에서 최신 기술 수준의 성능을 달성하며, 클러스터링 정확도와 연결성이 향상된다.

ABSTRACT

State-of-the-art subspace clustering methods are based on self-expressive model, which represents each data point as a linear combination of other data points. By enforcing such representation to be sparse, sparse subspace clustering is guaranteed to produce a subspace-preserving data affinity where two points are connected only if they are from the same subspace. On the other hand, however, data points from the same subspace may not be well-connected, leading to the issue of over-segmentation. We introduce dropout to address the issue of over-segmentation, which is based on randomly dropping out data points in self-expressive model. In particular, we show that dropout is equivalent to adding a squared $\ell_2$ norm regularization on the representation coefficients, therefore induces denser solutions. Then, we reformulate the optimization problem as a consensus problem over a set of small-scale subproblems. This leads to a scalable and flexible sparse subspace clustering approach, termed Stochastic Sparse Subspace Clustering, which can effectively handle large scale datasets. Extensive experiments on synthetic data and real world datasets validate the efficiency and effectiveness of our proposal.

연구 동기 및 목표

• 스파스 서브스페이스 클러스터링(SSC)에서 과도하게 희소한 표현으로 인해 동일한 서브스페이스에 속한 점들이 잘 연결되지 않는 문제를 해결하기 위해.
• 드롭아웃을 정규화 메커니즘으로 도입하여 더 높은 밀도의 계수 해를 유도함으로써 서브스페이스 연결성을 향상시키기 위해.
• 소규모 하위문제를 통해 확률적 최적화를 수행함으로써 초대규모 데이터셋을 효율적으로 처리할 수 있는 확장성 있고 메모리 효율적인 알고리즘 개발을 위해.
• 실제 및 시뮬레이션 데이터에서 클러스터링 성능을 향상시키면서도 서브스페이스 유지 성질을 유지할 수 있는 유연한 프레임워크 제공을 위해.

제안 방법

• 계수 추정 과정에서 데이터 행렬 X의 열을 무작위로 제거함으로써 드롭아웃을 적용하며, 이는 표현 계수에 암묵적인 ℓ₂ 정규화를 추가한다.
• 이 방법은 확률적 샘플링을 통해 생성된 다수의 소규모 하위문제에 대한 공감 최적화 문제로 스파스 서브스페이스 클러스터링 문제를 재구성한다.
• 최종 표현은 다수의 확률적 시도에서의 해들을 가중 평균하여 계산되며, 비영인 항목들은 빈도와 크기 기반으로 집계된다.
• 드롭아웃과 ℓ₂ 정규화의 등가성을 활용함으로써 순수한 ℓ₁ 기반 희소성에 비해 더 높은 밀도와 더 강력한 계수 벡터를 유도한다.
• 알고리즘은 반복적으로 구현되며, 외부 반복 과정에서 지원 크기와 클러스터링 정확도의 안정성에 따라 수렴 여부를 모니터링한다.
• 파라미터 조정은 고유값 갭 분석과 데이터셋 크기에 기반하며, 더 큰 데이터셋에는 더 높은 드롭아웃 비율 δ를 사용한다.

실험 결과

연구 질문

• RQ1 스파스 서브스페이스 클러스터링에서 희소성이나 확장성에 손상 주지 않고 드롭아웃을 효과적으로 활용하여 서브스페이스 연결성을 향상시킬 수 있는가?
• RQ2 소규모 하위문제 기반의 확률적 최적화 프레임워크는 과도한 클러스터 분할을 줄이면서도 서브스페이스 유지 성질을 유지하는가?
• RQ3 실제 데이터셋에서 S3COMP는 SSCOMP 및 기타 최신 기술 수준의 방법과 비교해 클러스터링 정확도와 연결성 측면에서 어떻게 성능을 내는가?
• RQ4 하이퍼파rameter δ(드롭아웃 비율)와 λ(정규화 강도)는 알고리즘의 성능과 안정성에 어떤 영향을 미치는가?

주요 결과

• S3COMP와 S3COMP-C는 모든 실세계 데이터셋에서 SSCOMP보다 유의미하게 높은 평균 연결성(c̄)을 달성했으며, MNIST70000에서 최대 0.1883, GTSRB에서도 0.1883의 향상이 있었다.
• Extended Yale B와 COIL100에서 S3COMP-C는 각각 평균 연결성 0.0667과 0.0077를 기록했으며, SSCOMP의 0.0381과 0.0060보다 뛰어났다.
• S3COMP-C의 클러스터링 정확도는 몇 차례 외부 반복 후 안정화되었으며, 모든 데이터셋에서 2~3회 반복 후 지원 크기가 안정화되었다.
• λ에 대해 [0.1, 1.0] 범위 내에서 파라미터 선택에 대해 강건성을 보였으며, 연결성 향상이 두드러질 경우 성능이 λ에 덜 민감하게 나타났다.
• S3COMP-C는 MNIST4000(95.2%), MNIST10000(94.8%), MNIST70000(94.5%)에서 최고의 클러스터링 정확도를 기록했으며, SSCOMP와 EnSC를 모두 능가했다.
• 빈도 가중 평균을 통한 공감 해(S3COMP*)를 사용할 경우 단순 평균화보다 연결성과 정확도가 더욱 향상되었다.