[논문 리뷰] Neural Manifold Clustering and Embedding

Zengyi Li, Yubei Chen외 2명|arXiv (Cornell University)|2022. 01. 24.

Medical Imaging and Analysis인용 수 13

한 줄 요약

이 논문은 기하학적 제약 조건을 위한 데이터 증강과 부분공간 특징 학습을 위한 최대 코딩 속도 감소(MCR²)를 결합한 딥 러닝 방법인 신경 다각형 군집화 및 임bedding(NMCE)을 제안한다. NMCE는 CIFAR-10과 CIFAR-20에서 오토에코더 기반 군집화 및 최첨단 방법보다 뛰어나며, 이해할 수 있고 의미 있는 특징 공간을 학습함으로써 최대 9% 높은 정확도를 달성한다.

ABSTRACT

Given a union of non-linear manifolds, non-linear subspace clustering or manifold clustering aims to cluster data points based on manifold structures and also learn to parameterize each manifold as a linear subspace in a feature space. Deep neural networks have the potential to achieve this goal under highly non-linear settings given their large capacity and flexibility. We argue that achieving manifold clustering with neural networks requires two essential ingredients: a domain-specific constraint that ensures the identification of the manifolds, and a learning algorithm for embedding each manifold to a linear subspace in the feature space. This work shows that many constraints can be implemented by data augmentation. For subspace feature learning, Maximum Coding Rate Reduction (MCR$^2$) objective can be used. Putting them together yields {\em Neural Manifold Clustering and Embedding} (NMCE), a novel method for general purpose manifold clustering, which significantly outperforms autoencoder-based deep subspace clustering. Further, on more challenging natural image datasets, NMCE can also outperform other algorithms specifically designed for clustering. Qualitatively, we demonstrate that NMCE learns a meaningful and interpretable feature space. As the formulation of NMCE is closely related to several important Self-supervised learning (SSL) methods, we believe this work can help us build a deeper understanding on SSL representation learning.

연구 동기 및 목표

• 비선형 다각형의 합집합에서 온 데이터를 딥 뉴럴 네트워크를 사용해 군집화하는 과제를 해결한다.
• 후처리에 의존하는 바탕으로 딥 뉴럴 네트워크 기반 오토에코더 기반 부분공간 군집화의 한계를 극복한다. 이는 선형 군집화에 비해 성능 향상이 미미하기 때문이다.
• 일반적인 목적을 가진 방법을 개발하여 통합된 프레임워크 안에서 다각형 군집화와 선형 부분공간 임베딩을 동시에 학습한다.
• 분야 특화된 제약 조건과 체계적인 부분공간 학습 목표를 통합함으로써 강건성과 해석 가능성 확보.
• 클러스터링에 최적화된 딥 러닝 방법과 비교해 고차원 이미지 데이터셋인 CIFAR-10과 CIFAR-20에서 뛰어난 성능을 입증한다.

제안 방법

• 분야 특화된 기하학적 제약 조건(예: 변환에 대한 불변성 등)을 강제하기 위해 데이터 증강을 적용함으로써 식별 가능한 다각형 군집화를 가능하게 한다.
• 잠재 공간에서 최대 코딩 속도 감소(MCR²) 목표를 사용하여 선형, 붕괴되지 않은, 분리된 부분공간 표현을 학습한다.
• 세 단계로 훈련: 자기지도 대비 목표를 통한 사전 훈련, 사전 특징에서 MCR²를 통한 부분공간 군집화, 전체 NMCE 목표로의 엔드 투 엔드 미세조정.
• 각 다각형의 임베딩이 특징 공간 내에서 별개의 선형 부분공간을 점유하도록 MCR² 목표를 활용한다.
• PCA를 통해 MCR²로 학습된 특징의 학습된 부분공간을 시각화하면 주성분이 의미 있는 이미지 군집(예: 흰색 개, 특정 물체 유형 등)과 대응함을 확인할 수 있다.
• MCR²로 학습된 특징에 표준 군집 알고리즘(예: EnSC, ESC, SENet)을 통합하여 후속 성능 평가를 수행한다.

실험 결과

연구 질문

• RQ1 데이터 증강이 딥 뉴럴 네트워크 내에서 다각형 군집화를 향상시키기 위해 기하학적 제약 조건을 효과적으로 강제할 수 있는가?
• RQ2 비선형 다각형을 위한 분리된 선형 부분공간 표현을 학습하는 데 있어 MCR²가 자기표현 기반 군집 목표보다 우월한가?
• RQ3 기하학적 제약 조건과 MCR²를 통합한 통합된 딥 러닝 프레임워크가 도전적인 이미지 군집 기준 테스트에서 최첨단 성능을 달성할 수 있는가?
• RQ4 NMCE는 CIFAR-10과 CIFAR-20에서 TCC, ConCURL, MiCE와 같은 클러스터링에 최적화된 딥 러닝 방법과 비교해 어떻게 성능을 냈는가?
• RQ5 NMCE에서 학습된 특징가 얼마나 높은 수준의 해석 가능성과 의미적 구조를 가지는가?

주요 결과

• NMCE는 MCR² 기준선 대비 CIFAR-10에서 6.1%p, CIFAR-20에서 9.0%p의 절대 정확도 향상을 달성한다.
• NMCE는 TCC, ConCURL, MiCE와 같은 최첨단 딥 러닝 군집화 방법보다 ACC, NMI, ARI 지표에서 CIFAR-10과 CIFAR-20 양쪽 모두에서 뛰어난 성능을 보인다.
• 오토에코더 기반 딥 뉴럴 네트워크 부분공간 군집화에 비해 성능이 크게 향상되었으며, 이는 깊이 있는 아키텍처 자체로는 성능 향상이 미미하고 후처리에 크게 의존하기 때문이다.
• 학습된 부분공간의 주성분을 시각화한 결과 의미 있는 군집(예: 흰색 개, 특정 물체 유형 등)이 드러나 해석 가능한 특징 학습임을 확인할 수 있다.
• 전체 네트워크를 전체 NMCE 목표로 미세조정함으로써 소규모이지만 의미 있는 성능 향상이 발생함을 확인하여 엔드 투 엔드 최적화의 이점이 있음을 입증한다.
• NMCE에서 학습된 특징는 표준 자기지도 학습과 달리 초구면 위에 균일하게 분포하지 않음을 확인하여 더 나은 구조 유지 및 군집 가능성 확보를 의미한다.