[논문 리뷰] SpectralNet: Spectral Clustering using Deep Neural Networks

Uri Shaham, Kelly Stanton외 4명|arXiv (Cornell University)|2018. 01. 04.

Face and Expression Recognition참고 문헌 28인용 수 118

한 줄 요약

SpectralNet는 확장 가능한 클러스터링을 위한 스펙트럴 임베딩에 대한 매개변수화된 맵을 학습하며, Siamese 네트워크를 통한 아핀 학습 개선과 외부 샘플 확장(out-of-sample extension)을 가능하게 하고, MNIST에서 경쟁력 있는 결과를, Reuters에서 최첨단 성능을 달성합니다.

ABSTRACT

Spectral clustering is a leading and popular technique in unsupervised data analysis. Two of its major limitations are scalability and generalization of the spectral embedding (i.e., out-of-sample-extension). In this paper we introduce a deep learning approach to spectral clustering that overcomes the above shortcomings. Our network, which we call SpectralNet, learns a map that embeds input data points into the eigenspace of their associated graph Laplacian matrix and subsequently clusters them. We train SpectralNet using a procedure that involves constrained stochastic optimization. Stochastic optimization allows it to scale to large datasets, while the constraints, which are implemented using a special-purpose output layer, allow us to keep the network output orthogonal. Moreover, the map learned by SpectralNet naturally generalizes the spectral embedding to unseen data points. To further improve the quality of the clustering, we replace the standard pairwise Gaussian affinities with affinities leaned from unlabeled data using a Siamese network. Additional improvement can be achieved by applying the network to code representations produced, e.g., by standard autoencoders. Our end-to-end learning procedure is fully unsupervised. In addition, we apply VC dimension theory to derive a lower bound on the size of SpectralNet. State-of-the-art clustering results are reported on the Reuters dataset. Our implementation is publicly available at https://github.com/kstant0725/SpectralNet .

연구 동기 및 목표

• 스펙트럴 클러스터링의 필요성과 확장성 및 외부 샘플 확장(out-of-sample-extension) 한계 해결.
• 확률적 학습 하에서 직교성을 강제하면서 스펙트럴 임베딩을 학습하는 신경망을 개발한다.
• 클러스터링 품질을 향상시키기 위해 Siamese 네트워크를 통해 학습된 친화도를 통합한다.
• 대규모 데이터셋에서 엔드-투-엔드 자가감독 학습을 가능하게 하고 평가한다.

제안 방법

• 친화도 행렬로 가중된 쌍 간 거리 손실을 최소화하여 스펙트럴 임베딩을 근사하도록 신경망을 학습한다.
• QR 분해 기반의 직교화로 구현된 제약된 출력층을 통해 네트워크 출력의 직교성을 강제한다.
• 고정된 유클리드 거리 대신 적응적이고 데이터 기반의 친화도를 학습하기 위해 Siamese 네트워크를 사용한다.
• 클러스터링 품질을 향상시키기 위해 자동인코더가 생성한 코드 공간에서 네트워크를 선택적으로 적용한다.
• 학습된 임베딩 공간에서 k-평균을 수행하여 최종 클러스터 할당을 얻는다.
• 학습된 네트워크를 통해 새로운 점을 매핑하여 외부 샘플 확장을 제공한다.

실험 결과

연구 질문

• RQ1 신경망이 그래프 라플라시안의 스펙트럴 임베딩을 확장 가능하고 엔드투엔드 방식으로 학습할 수 있는가?
• RQ2 네트워크가 직교 출력을 산출하도록 제약하는 것이 라플라시안 고유벡터를 충실하게 근사하도록 하는가?
• RQ3 학습된(Siamese) 친화도가 고정된 유클리드 친화도보다 스펙트럴 클러스터링 품질을 향상시킬 수 있는가?
• RQ4 SpectralNet은 보지 않은 데이터에 대해 얼마나 잘 일반화되는가(외부 샘플 확장)?

주요 결과

• Siamese 기반 친화도 및 코드 공간 표현을 갖춘 SpectralNet은 여러 베이스라인보다 MNIST 클러스터링을 현저히 개선하고 일부 설정에서 IMSAT에 근접합니다.
• 코드 공간에서 Siamese 거리를 사용할 때 MNIST ACC는 0.971, NMI는 0.924에 도달; 코드 공간에서 Siamese를 사용하는 Reuters는 ACC 0.803, NMI 0.532에 도달.
• 입력 공간에서 유클리드 거리로는 MNIST ACC 0.622, NMI 0.687; 코드 공간에서 유클리드 거리로는 MNIST ACC 0.800, NMI 0.814.
• Siamese 친화도를 사용하는 SpectralNet은 많은 딥 클러스터링 베이스라인(DEC, DCN, VaDE, JULE, DEPICT)을 능가하고 MNIST에서 IMSAT와 경쟁력 있다.
• Reuters에서 Siamese 친화도를 가진 코드 공간의 SpectralNet가 테스트 변형 중 가장 높은 ACC 0.803, NMI 0.532를 달성했다.
• 이론적 분석은 점의 수에 따라 스펙트럴 클러스터링의 표현력이 최소한 선형으로 증가한다는 VC 차원 하한을 제시한다.