[논문 리뷰] Learning Latent Superstructures in Variational Autoencoders for Deep Multidimensional Clustering

Xiaopeng Li, Zhourong Chen외 2명|arXiv (Cornell University)|2018. 03. 14.

Generative Adversarial Networks and Image Synthesis인용 수 24

한 줄 요약

이 논문은 잠재 트리 변분 오토인코더(LTVAE)를 제안한다. LTVAE는 잠재 변수 위에 계층적이고 트리 구조를 가진 슈퍼구조를 학습하여 다차원 클러스터링을 가능하게 하는 딥 생성 모델이다. 기존 방법이 단일 파artition을 학습하는 데에 그치는 것과 달리, LTVAE는 잠재 특징의 부분집합을 기반으로 다수의 해석 가능한 클러스터링을 발견하며, 경사하강법과 단계적 EM을 통한 엔드 투 엔드 훈련을 통해 최신 기준 성능(clustering accuracy: 예를 들어 MNIST에서 86.32%)을 달성한다.

ABSTRACT

We investigate a variant of variational autoencoders where there is a superstructure of discrete latent variables on top of the latent features. In general, our superstructure is a tree structure of multiple super latent variables and it is automatically learned from data. When there is only one latent variable in the superstructure, our model reduces to one that assumes the latent features to be generated from a Gaussian mixture model. We call our model the latent tree variational autoencoder (LTVAE). Whereas previous deep learning methods for clustering produce only one partition of data, LTVAE produces multiple partitions of data, each being given by one super latent variable. This is desirable because high dimensional data usually have many different natural facets and can be meaningfully partitioned in multiple ways.

연구 동기 및 목표

• 기존 딥 클러스터링 방법이 데이터의 단일 평면적 파artition만 학습하는 데에 그치는 한계를 해결하기 위해.
• 고차원 데이터를 다수의 자연스러운 면을 가진 방식으로 모델링하기 위해 이산 잠재 변수의 계층적 트리 구조를 학습하기 위해.
• 표현 학습과 구조 발견을 비지도 학습 방식으로 동시에 수행하기 위해.
• 잠재 요소 간의 의존성을 학습하여 구조적 데이터 생성과 조건부 샘플링을 가능하게 하기 위해.
• 베이지안 네트워크 구조를 통해 잠재 변수 간 상관관계를 모델링하여 클러스터링 성능을 향상시키기 위해.

제안 방법

• LTVAE는 주요 잠재 특징 위에 이산 슈퍼잠재 변수의 트리 구조를 가진 베이지안 네트워크를 도입함으로써 변분 오토인코더를 확장한다.
• 각 슈퍼잠재 변수는 별개의 클러스터링 면을 정의하며, 각 클러스터는 특정 잠재 특징의 부분집합을 사용해 생성된다.
• 모델은 깊은 신경망을 통해 잠재 특징에서 데이터를 샘플링하는 생성 과정을 사용하며, 이 잠재 특징들은 자체적으로 트리 구조 슈퍼구조에서 생성된다.
• 구조 학습은 메시지 전달 방식을 사용하는 단계적 EM을 통해 수행되어 트리 구조의 자동 발견과 클러스터 할당이 가능하다.
• 변분 추론 목표 함수에 재구성 손실과 KL 발산 항을 포함한 경사하강법을 사용하여 엔드 투 엔드 훈련을 달성한다.
• 형질 전파 샘플링과 구성 요소별 샘플링을 사용하여 구조적 이미지 생성을 수행하며, 이는 의미적 속성 제어를 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 생성 모델은 고차원 데이터에 대해 서로 다른 의미적 면을 가진 다수의 해석 가능한 클러스터링을 학습할 수 있는가?
• RQ2 복잡하고 다면적인 데이터 구조를 모델링하기 위해 데이터로부터 이산 잠재 변수의 계층적 슈퍼구조를 자동으로 학습할 수 있는가?
• RQ3 잠재 요소 간의 의존성을 모델링하면 독립적 또는 평면적 클러스터링 가정에 비해 데이터의 가능도와 클러스터링 성능이 향상되는가?
• RQ4 학습된 잠재 트리 구조는 의미 있는 구조적 데이터 생성과 조건부 샘플링을 가능하게 하는가?
• RQ5 단일 파artition을 가정하는 기존 딥 클러스터링 방법에 비해 LTVAE는 클러스터링 정확도와 해석 가능성 측면에서 어떻게 비교되는가?

주요 결과

• LTVAE는 MNIST 데이터셋에서 86.32%의 클러스터링 정확도를 달성하여 이전 최신 기준 성능을 초월한다.
• 잠재 차원이 20일 때, LTVAE는 다수의 구분되는 면을 발견한다. MNIST의 경우, 한 면은 숫자의 정체성을 기준으로 분류하고, 다른 면은 형태와 자세를 기준으로 분류한다.
• STL-10 데이터셋에서는 네 개의 구분되는 면이 발견되었으며, 각 면은 앞면 뷰, 눈의 가시성, 혹은 동물의 뿔/귀 유무 등의 시각적 특징을 강조한다.
• 모델은 해석 가능한 클러스터링을 드러내며, STL-10의 면 1은 객체 유형에 따라 그룹화하고, 면 3과 4는 서로 다른 객체 유형임에도 불구하고 전반적인 시각적 느낌에 따라 그룹화한다.
• 조건부 이미지 생성 실험에서 특정 구성 요소에서 샘플링하면 표준 VAE가 이러한 구조를 가지지 못하는 것과 달리 의미적으로 일관된 숫자가 생성된다.
• 실험 결과 슈퍼잠재 변수 간 의존성 제거 시 데이터의 로그 가능도가 감소함을 확인하여 트리 구조 슈퍼구조의 중요성을 입증한다.