[논문 리뷰] Deep Sparse Subspace Clustering

Xi Peng, Jiashi Feng외 4명|arXiv (Cornell University)|2017. 09. 25.

Face and Expression Recognition참고 문헌 54인용 수 26

한 줄 요약

이 논문은 깊이 있는 신경망을 통해 계층적인 비선형 표현을 학습함으로써 기존의 선형 부분공간 가정을 초월하는 데이터에 대해 효과적인 부분공간 군집화를 가능하게 하는 새로운 딥러닝 프레임워크인 Deep Sparse Subspace Clustering (DSSC)를 제안한다. DSSC는 네 개의 실세계 데이터셋에서 기존의 12가지 방법들을 크게 능가하는 최신 기술 수준의 성능을 달성하며, 희소성 제약 조건과 딥 특징 학습을 결합한다.

ABSTRACT

In this paper, we present a deep extension of Sparse Subspace Clustering, termed Deep Sparse Subspace Clustering (DSSC). Regularized by the unit sphere distribution assumption for the learned deep features, DSSC can infer a new data affinity matrix by simultaneously satisfying the sparsity principle of SSC and the nonlinearity given by neural networks. One of the appealing advantages brought by DSSC is: when original real-world data do not meet the class-specific linear subspace distribution assumption, DSSC can employ neural networks to make the assumption valid with its hierarchical nonlinear transformations. To the best of our knowledge, this is among the first deep learning based subspace clustering methods. Extensive experiments are conducted on four real-world datasets to show the proposed DSSC is significantly superior to 12 existing methods for subspace clustering.

연구 동기 및 목표

• 입력 공간에서 선형 데이터 분포를 가정하는 전통적 부분공간 군집화 방법의 한계를 해결하기 위해.
• 입력 공간에서 선형 부분공간 가정을 만족하지 못하는 실세계 데이터의 효과적인 군집화를 위해 딥 네트워크를 활용한 비선형 특징 변환을 가능하게 하기 위해.
• SSC의 희소성 원칙과 딥 네트워크의 표현 능력을 통합된, 엔드 투 엔드로 훈련 가능한 프레임워크로 통합하기 위해.
• 특히 비선형 데이터 시나리오에서 딥러닝이 무 supervision 부분공간 군집화에 가능하고 우수한 성능을 발휘할 수 있음을 입증하기 위해.

제안 방법

• DSSC는 입력 데이터의 계층적인 비선형 표현을 학습하기 위해 다수의 은닉층을 가진 딥 네트워크를 사용하며, 이를 통해 부분공간의 선형성으로 나타나는 잠재 공간으로 변환한다.
• 이 방법은 표현 행렬에 대한 희소성 조건을 강제하는 공동 목표 함수를 통해 네트워크 파라미터와 자기 표현 계수를 동시에 최적화한다.
• 딥 특징에 단위 구면 분포 가정을 도입하여 표현을 정규화하고 군집 성능을 향상시킨다.
• 최종적으로, 네트워크의 최상위 레이어에서 학습된 희소 표현 계수로부터 친화도 행렬을 구성하며, 이를 스펙트럴 군집화의 입력으로 사용한다.
• 재구성 오차와 희소성 정규화를 결합한 미분 가능한 목표 함수를 사용하여 엔드 투 엔드로 모델을 훈련하며, 손실 함수는 재구성 오차의 프로베니우스 노름을 최소화하고 ℓ1 정규화를 통해 희소성을 유도한다.
• 활성화 함수로는 tanh, sigmoid, 또는 ReLU를 사용하며, 학습률 및 정규화 강도와 같은 하이퍼파rameter는 교차 검증을 통해 최적화된다.

실험 결과

연구 질문

• RQ1 딥 네트워크는 선형 부분공간 가정을 위반하는 데이터에 대해 부분공간 군집화를 가능하게 하는 비선형 표현을 효과적으로 학습할 수 있는가?
• RQ2 딥 네트워크 아키텍처의 깊이가 얕은 모델 대비 부분공간 군집화 성능에 어떤 영향을 미치는가?
• RQ3 DSSC 프레임워크에서 어떤 활성화 함수가 가장 안정적이고 정확한 군집 결과를 도출하는가?
• RQ4 딥 특징 학습과 희소성 제약 조건을 통합함으로써, 기존의 SSC 및 기타 최신 기술 수준의 방법들보다 개선된 군집 성능를 달성할 수 있는가?

주요 결과

• DSSC는 얼굴 영상, 물체, 손글씨 숫자 인식 작업을 포함한 네 개의 실세계 데이터셋에서 12가지 기존 부분공간 군집화 방법들을 크게 능가한다.
• BF0502 얼굴 영상 데이터셋에서 DSSC는 sigmoid 활성화 함수를 사용해 82.67%의 정확도, 79.01%의 NMI, 71.69%의 ARI, 66.55%의 Fscore를 기록했으며, 이는 SSC보다 각각 3.17%, 4.18%, 9.32%, 2.96% 향상된 성능이다.
• 두 개의 은닉층을 가진 딥 모델(DSSC-M=2)은 모든 평가 지표에서 하나의 은닉층을 가진 얕은 모델(DSSC-M=1)보다 일관되게 뛰어난 성능을 보였으며, 깊이의 유용성을 확인했다.
• tanh 활성화 함수를 사용한 DSSC는 최고 성능를 기록하지는 않았지만 가장 안정적인 수렴 행동을 보였고, 비교 실험에서 기본 활성화 함수로 선택되었다.
• 모델은 약 90~100 에포크 후 수렴했으며, i5 CPU를 탑재한 맥북에서 각 에포크당 약 2.2초가 소요되어 중간 규모의 데이터셋에 대해 실용적인 훈련 시간을 확보했다.
• 모델는 하이퍼파rameter 설정에 대해 뛰어난 내성성을 보였으며, tanh 기반 변종에서 최적의 성능는 학습률 2^(-13)과 정규화 강도 90를 사용할 때 달성되었다.