[논문 리뷰] Deep Subspace Clustering Networks

Pan Ji, Tong Zhang외 3명|arXiv (Cornell University)|2017. 09. 08.

Video Surveillance and Tracking Methods참고 문헌 43인용 수 7

한 줄 요약

이 논문은 비선형 하위공간에서 비지도 군집을 가능하게 하기 위해 쌍별 유사도를 학습하는 미분 가능한 비선형 상호표현 레이어를 갖춘 딥 오토인코더 아키텍처인 딥 서브스페이스 클러스터링 네트워크(DSC-Nets)를 제안한다. 제안된 방법은 얼굴 및 물체 데이터셋에서 최신 기술보다 뛰어난 성능을 보이며, 전반적인 학습 전략과 사전 훈련 및 미세조정 기법을 통해 데이터에 의존하는 비선형 매핑을 명시적으로 학습한다.

ABSTRACT

We present a novel deep neural network architecture for unsupervised subspace clustering. This architecture is built upon deep auto-encoders, which non-linearly map the input data into a latent space. Our key idea is to introduce a novel self-expressive layer between the encoder and the decoder to mimic the "self-expressiveness" property that has proven effective in traditional subspace clustering. Being differentiable, our new self-expressive layer provides a simple but effective way to learn pairwise affinities between all data points through a standard back-propagation procedure. Being nonlinear, our neural-network based method is able to cluster data points having complex (often nonlinear) structures. We further propose pre-training and fine-tuning strategies that let us effectively learn the parameters of our subspace clustering networks. Our experiments show that the proposed method significantly outperforms the state-of-the-art unsupervised subspace clustering methods.

연구 동기 및 목표

• 비선형 하위공간에 존재하는 데이터를 다룰 수 없는 선형 하위공간 군집 기법의 한계를 해결하기 위해.
• 하위공간 군집에 적합한 비선형 데이터 매핑을 명시적으로 학습할 수 있는 딥 신경망 프레임워크를 개발하기 위해.
• 쌍별 유사도를 전반적인 학습에 통합할 수 있도록 가능한 미분 가능한 상호표현 레이어를 도입하기 위해.
• 제한된 데이터로도 비지도 방식으로 효과적인 사전 훈련 및 미세조정 전략을 설계하기 위해.
• ORL, 확장된 Yale B, COIL20, COIL100과 같은 도전적인 데이터셋에서 뛰어난 군집 성능을 입증하기 위해.

제안 방법

• 이 방법은 입력 데이터를 인코더 레이어를 통해 비선형적으로 낮은 차원의 잠재 공간으로 매핑하는 딥 오토인코더 기반이다.
• 인코더와 디코더 사이에 새로운 상호표현 레이어를 삽입하며, 이는 편향 없고 활성화 함수 없이 완전히 연결된 레이어로, 하위공간의 유합에서 데이터의 상호표현 성질을 강제한다.
• 이 상호표현 레이어는 각 데이터 포인트를 다른 포인트들의 선형 조합으로 표현하는 계수를 학습하여 데이터에 의존적인 유사도 행렬을 형성한다.
• 전체 네트워크는 역전파를 통해 훈련되며, 재구성 오차와 정규화 항을 포함하는 손실 함수를 사용하여 안정성을 향상시킨다.
• 사전 훈련은 표준 오토인코더 훈련을 통해 오토인코더 가중치를 초기화하고, 이후 전체 DSC-Net 목적함수를 사용해 군집 성능 최적화를 위한 미세조정을 수행한다.
• 데이터가 제한된 데이터셋의 경우 과적합을 줄이기 위해 깊은 버트레인지 아키텍처보다는 차원 증강(채널 수 증가)을 적용한 얕은 네트워크를 선호한다.

실험 결과

연구 질문

• RQ1 사전 정의된 커널 함수에 의존하지 않고도 딥 신경망 아키텍처가 비선형 하위공간의 구조를 효과적으로 학습하여 비지도 군집을 수행할 수 있는가?
• RQ2 하위공간 군집의 상호표현 성질을 미분 가능한 딥 러닝 프레임워크에 어떻게 통합할 수 있는가?
• RQ3 제한된 데이터로도 비지도 방식으로 효과적인 엔드 투 엔드 군집 파rameter 학습 전략은 무엇인가?
• RQ4 제안된 방법은 선형 및 비선형 다양체 모두에서 기존 최신 기술보다 뛰어난 성능을 보이는가?
• RQ5 왜 COIL20 및 COIL100과 같은 물체 이미지 데이터셋에서는 얕고 차원 증강 네트워크가 깊은 버트레인지 아키텍처보다 더 잘 작동하는가?

주요 결과

• ORL 데이터셋에서 DSC-Net-L2는 군집 오차율 5.34%를 기록했으며, 최고의 베이스라인 방법(AE+EDSC)의 오차율 약 3배에 해당하는 수준이었다.
• COIL20에서 제안된 방법은 5.34%의 오차율을 기록했으며, 경쟁 방법의 보고된 14.24% 오차율보다 유의미하게 낮았다.
• COIL100에서 DSC-Net-L2는 비교된 모든 방법 중 가장 낮은 오차율을 기록하여 복잡한 물체 이미지 데이터에 대한 뛀아난 일반화 성능을 입증했다.
• 채널 수를 점차 증가시키는 얕고 차원 증강 네트워크의 사용은 과적합 감소와 더 나은 파라미터 효율성 덕분에 COIL 데이터셋에서 깊은 버트레인지 아키텍처를 능가했다.
• 사전 훈련 및 미세조정 전략 덕분에 데이터가 제한된 ORL과 같은 데이터셋에서도 효과적인 훈련이 가능했으며, 이는 데이터 부족이 주요 과제인 상황에서 유의미한 성과를 이끌어냈다.
• 미분 가능한 상호표현 레이어는 데이터에 의존적인 유사도를 성공적으로 학습하여 커널 기반 및 전통적인 상호표현 방법보다 뛰어난 군집 성능을 달성했다.