[논문 리뷰] Neural Collaborative Subspace Clustering

Tong Zhang, Pan Ji외 3명|arXiv (Cornell University)|2019. 04. 24.

Face and Expression Recognition인용 수 13

한 줄 요약

이 논문은 스펙트럴 클러스터링을 신경망 분류기로 대체하여 확장성 있고 엔드 투 엔드로 하이퍼스페이스 클러스터링을 가능하게 하는 딥러닝 프레임워크인 신경형 협동 부분공간 클러스터링(Neural Collaborative Subspace Clustering, NCSC)을 제안한다. 쌍별 부분공간 소속성을 예측하는 분류기와 다른 데이터 포인트들로부터 데이터 포인트를 재구성하는 자기표현 레이어를 공동으로 훈련시킴으로써, NCSC는 스펙트럴 클러스터링 없이도 MNIST, 패션-MNIST, 스탠포드 온라인 제품 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다. 패션-MNIST에서 72.14%의 정확도와 도전적인 스탠포드 데이터셋에서 27.5%의 정확도를 기록하였다.

ABSTRACT

We introduce the Neural Collaborative Subspace Clustering, a neural model that discovers clusters of data points drawn from a union of low-dimensional subspaces. In contrast to previous attempts, our model runs without the aid of spectral clustering. This makes our algorithm one of the kinds that can gracefully scale to large datasets. At its heart, our neural model benefits from a classifier which determines whether a pair of points lies on the same subspace or not. Essential to our model is the construction of two affinity matrices, one from the classifier and the other from a notion of subspace self-expressiveness, to supervise training in a collaborative scheme. We thoroughly assess and contrast the performance of our model against various state-of-the-art clustering algorithms including deep subspace-based ones.

연구 동기 및 목표

• 스펙트럴 클러스터링과 친화도 행렬 계산에 의존하는 전통적 부분공간 클러스터링 방법의 확장성 한계를 해결한다.
• 스펙트럴 클러스터링이 필요 없이도 성능을 유지하거나 향상시키는 딥러닝 기반 접근법을 개발한다.
• 두 상호보완적인 모듈 간의 협동 학습 프레임워크를 도입하여 신경망의 엔드 투 엔드 훈련을 가능하게 한다.
• 비선형 구조와 높은 시각적 변동성이 있는 대규모 및 복잡한 데이터셋에서도 강건성과 확장성을 입증한다.

제안 방법

• 두 데이터 포인트가 같은 부분공간에 속해 있는지 여부를 판단하는 이진 분류 문제로 부분공간 클러스터링을 재정의한다.
• 분류기에서 유도된 친화도 행렬(A_c)과 부분공간 자기표현성에서 유도된 친화도 행렬(A_s)을 각각 구성한다. 여기서 A_s는 각 포인트가 다른 포인트들로부터 선형적으로 재구성된다.
• 각 친화도 행렬이 고신뢰도 예측을 기반으로 상대방을 감독하는 공동 최적화 방식으로 두 모듈을 동시에 훈련시킨다.
• 자기표현 행렬 A_s를 분류기의 일반화를 향상시키는 정규화 항으로 사용하고, 반대로 A_s도 분류기의 성능 향상에 기여하도록 하여 상호 보완적 개선을 유도한다.
• 완전한 친화도 행렬을 저장하지 않고도 대규모 데이터셋에 효율적으로 스케일링 가능한 배치 기반 훈련 방식을 사용한다.
• 스펙트럴 클러스터링을 통한 후처리 없이도 훈련된 네트워크에서 직접 최종 클러스터 레이블을 예측한다.

실험 결과

연구 질문

• RQ1 스펙트럴 클러스터링이나 친화도 행렬 계산에 의존하지 않고도 신경망이 부분공간 클러스터링을 수행할 수 있는가?
• RQ2 기반 분류기 친화도와 자기표현 기반 친화도를 효과적으로 융합하여 클러스터링 성능을 향상시킬 수 있는가?
• RQ3 쌍별 분류기와 자기표현 레이어 간의 협동 훈련이 기존의 딥 러닝 부분공간 클러스터링 방법보다 더 높은 정확도와 확장성을 달성할 수 있는가?
• RQ4 제안된 방법은 스탠포드 온라인 제품과 같은 도전적이고 비선형적이며 높은 변동성을 가지는 데이터셋에서 어떻게 성능을 내는가?

주요 결과

• 패션-MNIST에서 NCSC는 72.14%의 클러스터링 정확도를 기록했으며, 이는 이어지는 최고 성능 기법인 DSC-Net(60.62%)을 크게 앞서며, 심지어 딥러닝이 아닌 방법인 DAC와 ClusterGAN조차도 뛰어넘었다.
• 매우 도전적인 스탠포드 온라인 제품 데이터셋에서는 NCSC가 27.5%의 정확도를 기록했으며, DEC, DCN, InfoGAN과 같은 대부분의 딥 클러스터링 베이스라인보다 뛰어나게 성능을 냈고, 초기화 수준 이하로 성능이 떨어지는 경우도 있었다.
• 잠재 차원이 부분공간 자기표현성을 지원하는 한, 네트워크 아키텍처의 변화에 대해 강건성을 보이며 아키텍처의 유연성을 시사한다.
• 협동 훈련 방식은 점진적으로 분류기와 자기표현 성분 양쪽 모두의 성능을 향상시키며, 상호 감독을 통해 서로의 성능을 향상시킨다.
• NCSC는 스펙트럴 클러스터링의 O(n²) 메모리 및 계산 복잡도 문제를 제거하여 대규모 데이터셋에서 성능을 유지하면서도 확장 가능한 훈련을 가능하게 한다.
• MNIST에서 NCSC는 72.14%의 정확도를 기록했으며, SSC-CAE(35.87%)보다 11.5%포인트 높아, 표준 벤치마크에서의 열등함을 확인한다.