[논문 리뷰] A Critique of Self-Expressive Deep Subspace Clustering

Benjamin D. Haeffele, Chong You외 1명|arXiv (Cornell University)|2020. 10. 08.

Face and Expression Recognition참고 문헌 44인용 수 10

한 줄 요약

이 논문은 자기표현적 딥 서브스페이스 클러스터링(SEDC) 방법을 비판하며, 최적화 과정이 잘못 정의되어 있고, 데이터 포인트가 근원점 근처로 붕괴되거나 공선성(configuration)을 이루는 열열된(embedding) 해가 발생할 수 있음을 보여준다. 이로 인해 클러스터링 성능이 떨어진다. 저자들은 이전 연구에서 보고된 성능 향상의 대부분이 딥 모델 자체가 아니라 특수한 후처리(post-processing) 덕분임을 입증하며, 합성 및 실재 데이터셋에 대한 이론적 분석과 실험을 통해 이를 검증한다.

ABSTRACT

Subspace clustering is an unsupervised clustering technique designed to cluster data that is supported on a union of linear subspaces, with each subspace defining a cluster with dimension lower than the ambient space. Many existing formulations for this problem are based on exploiting the self-expressive property of linear subspaces, where any point within a subspace can be represented as linear combination of other points within the subspace. To extend this approach to data supported on a union of non-linear manifolds, numerous studies have proposed learning an embedding of the original data using a neural network which is regularized by a self-expressive loss function on the data in the embedded space to encourage a union of linear subspaces prior on the data in the embedded space. Here we show that there are a number of potential flaws with this approach which have not been adequately addressed in prior work. In particular, we show the model formulation is often ill-posed in that it can lead to a degenerate embedding of the data, which need not correspond to a union of subspaces at all and is poorly suited for clustering. We validate our theoretical results experimentally and also repeat prior experiments reported in the literature, where we conclude that a significant portion of the previously claimed performance benefits can be attributed to an ad-hoc post processing step rather than the deep subspace clustering model.

연구 동기 및 목표

• 신경망으로 학습된 임베딩에 자기표현적 손실으로 정규화하는 데 의존하는 자기표현적 딥 서브스페이스 클러스터링(SEDC) 방법의 근본적 결함을 규명하는 것.
• SEDC의 최적화 문제가 잘못 정의되어 있으며, 임베딩 공간에서 데이터 포인트가 원점으로 붕괴되거나 공선성(configuration)을 이루는 열열된 해가 발생할 수 있음을 보여주는 것.
• 이전 연구에서 SEDC의 성능 우월성에 대한 주장의 타당성을 도전하기 위해, 관측된 성능 향상이 딥 모델 자체보다는 후처리 덕분임을 보여주는 것.
• 비선형 다양체(manifold) 상에 존재하는 데이터에 대해 신경망 임베딩을 사용할 때 자기표현적 성질이 서브스페이스 구조를 신뢰성 있게 유지하지 못함을 이론적이고 경험적으로 입증하는 것.
• SEDC 및 유사 아키텍처의 결과를 해석할 때 주의를 기울일 것을 주장하며, 특히 성능 향상이 모델 덕분이 아니라 후처리 단계 덕분으로 기인된 경우에 특히 그렇다.

제안 방법

• SEDC 목적함수의 이론적 분석을 통해 최적화 문제가 잘못 정의되어 있으며, 임베딩이 원점으로 붕괴되거나 공선성(configuration)을 이루는 임계점이 존재함을 밝혀낸다.
• 특히 인코더에 정규화 레이어(예: 인스턴스, 배치, 데이터셋 정규화)를 사용할 경우 최적화가 열열된 해로 이어지는 조건을 유도한다.
• 자료의 계수 행렬 C와 오토에인코더의 잠재공간 내 임베딩된 데이터 Z의 행동을 분석함으로써 최적화 역학을 분석한다.
• MNIST, CIFAR-10, STL-10 등의 합성 및 실재 데이터셋을 사용하여 세 가지 변형(원본 데이터, 오토에인코더 전용, 전체 SEDSC)으로 실험을 수행한다.
• 모든 방법에 동일한 후처리 단계를 적용하여 모델의 영향과 후처리 아티팩트를 분리한다.
• 전체 목적함수를 최적화하기 위해 프록시멀 그래디언트 디센트를 사용하며, 자기표현적 항 F(Z,C)와 정규화 항 θ(C)를 별도로 처리한다.

실험 결과

연구 질문

• RQ1 자기표현적 딥 서브스페이스 클러스터링 목적함수는 잘 정의되어 있는가, 아니면 임베딩 공간에서 열열된 해가 발생할 수 있는가?
• RQ2 인코더에 있는 정규화 레이어(예: 인스턴스, 배치, 데이터셋)가 SEDC의 열열성(degeneracy)을 얼마나 악화시키는가?
• RQ3 이전 SEDC 연구에서 보고된 성능 향상의 몇 퍼센트가 딥 모델의 기여인지, 특수한 후처리 단계의 기여인지 어느 정도인가?
• RQ4 비선형 다각형 상에 존재하는 데이터에 대해 신경망 임베딩 이후 자기표현적 성질이 서브스페이스 구조를 신뢰성 있게 유지할 수 있는가?
• RQ5 SEDC의 계수 행렬 C가 유의미한 내부 서브스페이스 관계를 표현하지 못하는 조건는 무엇인가?

주요 결과

• SEDC 최적화 문제는 잘못 정의되어 있으며, 임베딩된 데이터 포인트가 원점 근처로 붕괴되거나 공선성(configuration)을 이루는 열열된 해를 포함한다.
• 배치/채널 또는 데이터셋 정규화를 사용할 경우, 전체 훈련 후 임베딩 표현은 거의 열열되어 있으며, 대부분의 포인트가 원점 근처에 위치하고 계수 행렬 C에 오직 두 개의 비영항만 존재한다.
• 인스턴스 정규화를 사용할 경우, 모든 임베딩 포인트가 거의 동일하고 공선성이 되며, 이는 열열성에 대한 이론적 예측을 확인한다.
• 계수 행렬 C는 오직 몇 개의 비영항만 지배하며, 나머지 항들은 로그 스케일에서만 나타나는 것으로 보아 약하거나 허위 연결임을 시사한다.
• 원본 데이터, 오토에인코더 전용, 전체 SEDSC를 비교할 때, 이전 연구에서 보고된 성능 향상은 대부분 후처리 덕분이며, 딥 모델 자체의 기여는 크지 않다.
• MNIST, CIFAR-10, STL-10에 대한 경험적 결과는 후처리를 동일하게 적용할 경우 전체 SEDC 모델이 더 단순한 베이스라인을 능가하지 못함을 확인한다.