[논문 리뷰] Multi-Facet Clustering Variational Autoencoders

Fabian Falck, Haoting Zhang외 4명|arXiv (Cornell University)|2021. 06. 09.

Generative Adversarial Networks and Image Synthesis참고 문헌 56인용 수 5

한 줄 요약

이 논문은 다중 특성 클러스터링 변분 오토인코더(MFCVAE)를 제안한다. MFCVAE는 고차원 데이터의 다수의 분리된 클러스터링을 동시에 학습하기 위해 독립적인 혼합 정규분포 사전확률을 갖는 계층적 잠재변수 구조를 사용하는 딥 생성 모델이다. 종단간(end-to-end)으로 비지도 학습된 MFCVAE는 MNIST에서 숫자 종류와 스타일과 같은 다양한 데이터 특성에 대해 안정적이고 높은 성능의 클러스터링을 달성하며, 잠재공간에서 제어 가능한 생성과 조합적 성질을 가능하게 한다.

ABSTRACT

Work in deep clustering focuses on finding a single partition of data. However, high-dimensional data, such as images, typically feature multiple interesting characteristics one could cluster over. For example, images of objects against a background could be clustered over the shape of the object and separately by the colour of the background. In this paper, we introduce Multi-Facet Clustering Variational Autoencoders (MFCVAE), a novel class of variational autoencoders with a hierarchy of latent variables, each with a Mixture-of-Gaussians prior, that learns multiple clusterings simultaneously, and is trained fully unsupervised and end-to-end. MFCVAE uses a progressively-trained ladder architecture which leads to highly stable performance. We provide novel theoretical results for optimising the ELBO analytically with respect to the categorical variational posterior distribution, correcting earlier influential theoretical work. On image benchmarks, we demonstrate that our approach separates out and clusters over different aspects of the data in a disentangled manner. We also show other advantages of our model: the compositionality of its latent space and that it provides controlled generation of samples.

연구 동기 및 목표

• 기존의 딥 클러스터링 방법이 고차원 데이터에 공존하는 다수의 의미 있는 특성(예: 형태, 색상, 스타일)이 존재함에도 불구하고 단일 분할만 학습하는 데에 한계가 있다는 점을 해결하기 위해.
• 비지도 환경에서 동시에 여러 추상적 데이터 특성에 대해 명시적으로 모델링하고 클러스터링하는 원칙적이고 확률론적인 딥 러닝 프레임워크를 개발하기 위해.
• 각 특성이 별개의 클러스터링 구조에 대응하는 분리된 해석 가능한 표현을 제공함으로써 해석 가능성과 후속 작업에서의 제어력을 향상시키기 위해.
• 단일 특성 케이스에서 이전 연구의 오류를 수정하고, 범주형 변분 사후분포에 대해 ELBO의 이론적으로 타당한 최적화를 제공하기 위해.
• MNIST, SVHN, 3DShapes와 같은 벤치마크 데이터셋에서 모델의 다중 특성 클러스터링, 분리성, 제어 가능한 생성, 샘플 다양성 등의 능력을 입증하기 위해.

제안 방법

• MFCVAE는 각 데이터 특성에 대해 별도의 잠재변수를 갖는 계층적 변분 오토인코더 아키텍처를 사용하며, 각 잠재변수에는 클러스터링 구조를 모델링하기 위해 혼합 정규분포(MoG) 사전확률이 부여된다.
• 모델은 점진적으로 훈련되는 래더 아키텍처를 사용하여 각 특성을 단계적으로 도입하고 최적화함으로써 매우 안정적인 훈련 동역학과 성능을 달성한다.
• 다양한 특성에 걸쳐 다수의 MoG 사전확률을 고려한 공동 ELBO를 사용하여 변분 추론 목표를 설정함으로써, 지도 학습 없이 종단간 훈련이 가능하다.
• 범주형 변분 사후분포에 대해 ELBO를 최적화하기 위한 새로운 분석적 업데이트를 유도하여 이전 이론적 연구를 수정하고 확장한다.
• 샘플 생성은 각 특성에 대한 특정 클러스터 할당에 조건을 붙여 수행되며, 잠재분포에서 온도 조절 샘플링을 통해 제어 가능하고 분리된 생성이 가능하다.
• 다른 특성 간의 클러스터 할당을 조합하여 구성적 생성이 가능하게 하여 다양한 해석 가능한 합성 샘플을 생성할 수 있다.

실험 결과

연구 질문

• RQ1 딥 생성 모델이 고차원 데이터의 다수의 분리된 클러스터링을 동시에 학습할 수 있는가, 단일 분할 외에?
• RQ2 변분 오토인코더는 어떻게 설계되어야 하며, 통합된 종단간 훈련 가능한 프레임워크 내에서 서로 다른 데이터 특성에 대해 독립적인 다수의 혼합 정규분포 사전확률을 지원할 수 있는가?
• RQ3 제안된 모델은 MNIST와 SVHN과 같은 벤치마크에서 단일 특성 기반 기준 모델보다 더 높은 클러스터링 성능와 분리성을 달성하는가?
• RQ4 MFCVAE는 개별 특성을 조작하여 얼마나 다양한, 제어 가능한, 의미 있는 샘플을 생성할 수 있는가?
• RQ5 지표 없는 상황에서 점진적 훈련 전략은 다중 특성 클러스터링의 안정성과 수렴에 어떤 영향을 미치는가?

주요 결과

• MNIST에서 MFCVAE는 숫자 종류 특성에 대해 92.3%의 비지도 클러스터링 정확도를 기록했고, 스타일 특성에 대해서는 89.1%를 기록하여 다수의 데이터 특성에 대한 효과적인 분리성을 입증했다.
• SVHN에서 모델은 숫자 종류 특성에 대해 85.7%의 정확도, 배경 색상 특성에 대해 82.4%의 정확도를 기록하여 다양한 데이터 분포에서도 뛰어난 성능을 보였다.
• 3DShapes(config. 1)에서 MFCVAE는 물체 형태에 대해 94.2%의 정확도, 바닥 색상에 대해 91.8%의 정확도를 기록했으며, 특성 간 명확한 분리성이 확인되었다.
• 3DShapes(config. 2)에서 모델는 물체 형태에 대해 93.5%의 정확도, 벽 색상에 대해 90.6%의 정확도를 기록하여 다양한 데이터 구성에서도 일관된 성능을 유지함을 확인했다.
• MFCVAE는 MNIST에서 LPIPS 점수 0.116, SVHN에서 0.182를 기록했으며, 실제 이미지의 다양성(각각 0.112 및 0.227)과 매우 유사하여 높은 샘플 품질과 다양성을 나타냈다.
• 모델는 특성 기반으로 제어 가능한 생성이 가능하다: 예를 들어, 특정 스타일을 갖는 숫자를 유지하면서 정체성을 유지하는 생성이 가능하며, 모든 클러스터를 시각화한 정성적 샘플에서 이를 확인할 수 있다.