[논문 리뷰] Disentangling Disentanglement

Émile Mathieu, Tom Rainforth외 2명|arXiv (Cornell University)|2018. 12. 06.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 제어된 잠복 상호작용과 구조화된 집합 사전확률을 통해 VAE에서의 분리성 분해를 정의하는 일반적인 프레임워크를 제안한다. $\beta$-VAE의 성공은 이러한 요소들을 관리하는 데 기인하며, 회전 대칭성을 깨뜨리기 위해 사전확률을 수정함으로써 재구성 품질을 희생시키지 않은 채 더 나은 분리성을 달성할 수 있음을 보여준다.

ABSTRACT

We develop a generalisation of disentanglement in VAEs---decomposition of the latent representation---characterising it as the fulfilment of two factors: a) the latent encodings of the data having an appropriate level of overlap, and b) the aggregate encoding of the data conforming to a desired structure, represented through the prior. Decomposition permits disentanglement, i.e. explicit independence between latents, as a special case, but also allows for a much richer class of properties to be imposed on the learnt representation, such as sparsity, clustering, independent subspaces, or even intricate hierarchical dependency relationships. We show that the $\beta$-VAE varies from the standard VAE predominantly in its control of latent overlap and that for the standard choice of an isotropic Gaussian prior, its objective is invariant to rotations of the latent representation. Viewed from the decomposition perspective, breaking this invariance with simple manipulations of the prior can yield better disentanglement with little or no detriment to reconstructions. We further demonstrate how other choices of prior can assist in producing different decompositions and introduce an alternative training objective that allows the control of both decomposition factors in a principled manner.

연구 동기 및 목표

• 잠복 상호작용과 집합 사전확률 구조라는 두 요소에 의해 지배되는 분해 문제로 VAE의 분리성을 재정의하기.
• $\beta$-VAE가 이 두 요소를 제어함으로써 분리성을 향상시키는 이유를 설명하며, 특히 잠복 상호작용을 감소시킴으로써 성과를 높인다.
• 표준 $\beta$-VAE 목적함수가 잠복 표현의 회전에 대해 불변임을 보이며, 이로 인해 분리성 잠재력에 제약이 있음을 밝힘.
• 이 불변성을 깨뜨리기 위해 사전확률을 수정함으로써 재구성 품질을 거의 손상시키지 않은 채 더 나은 분리성을 달성할 수 있음을 보여줌.
• 다양한 표현 구조를 위한 두 분해 요소에 대해 독립적인 제어가 가능한 원칙적인 학습 목적함수를 개발하기.

제안 방법

• 분리성을 잠복 인코딩의 적절한 겹침과 원하는 사전확률 구조를 따르는 집합 인코딩이라는 두 성분으로 분해하는 것으로 정의한다.
• $\beta$-VAE를 주로 $\beta$-정규화 항을 통해 잠복 상호작용을 조절하는 것으로 특성화하며, 등방성 가우시안 사전확률은 회전 대칭성을 유도한다.
• 비등방성 또는 구조화된 사전확률과 같은 사전확률 수정을 도입하여 회전 대칭성을 깨뜨리고 분리성을 향상시킨다.
• 잠복 상호작용과 사전확률 구조에 대한 제어를 분리하는 새로운 학습 목적함수를 제안하여 분해에 대한 세밀한 조작을 가능하게 한다.
• 잠복 공간의 잠재적 구조적 특성을 분석하고 강제하기 위해 집합 사후확률과 사전확률 분포를 사용한다.
• 새로운 목적함수가 스파arsity, 클러스터링, 계층적 의존성과 같은 다양한 분해를 가능하게 함을 보여준다.

실험 결과

연구 질문

• RQ1 잠복 변수의 독립성 외적으로 VAE에서의 분리성을 어떻게 공식적으로 기술할 수 있는가?
• RQ2 잠복 상호작용은 분리성 품질에 어떤 역할을 하는가? 기존 방법들인 $\beta$-VAE에서는 이를 어떻게 제어하는가?
• RQ3 표준 $\beta$-VAE 목적함수가 왜 잠복 표현의 회전에 대해 불변인가? 이로 인해 분리성에 어떤 영향을 미치는가?
• RQ4 사전확률을 수정함으로써 이 불변성을 깰 수 있는가? 재구성 품질이 떨어지지 않게 분리성을 향상시킬 수 있는가?
• RQ5 다양한 분해 패턴을 위한 두 요소인 잠복 상호작용과 사전확률 구조를 독립적으로 제어할 수 있는 통합된 학습 목적함수를 어떻게 설계할 수 있는가?

주요 결과

• VAE에서의 분리성은 잠복 인코딩 겹침과 집합 사전확률 구조라는 두 요소에 의해 지배되는 분해로 가장 잘 이해할 수 있다.
• $\beta$-VAE는 주로 잠복 상호작용을 감소시킴으로써 분리성을 향상시키며, 독립성을 강제하는 데서 비롯되지 않는다.
• 표준 $\beta$-VAE 목적함수는 등방성 가우시안 사전확률로 인해 잠복 표현의 회전에 대해 불변이다.
• 비등방성 또는 구조화된 사전확률을 통해 이 회전 불변성을 깨뜨리면 재구성 비용을 거의 손상시키지 않은 채 분리성이 크게 향상된다.
• 기타 사전확률들은 스파arsity, 클러스터링, 계층적 의존성과 같은 다양한 분해 구조를 가능하게 한다.
• 제안된 학습 목적함수를 통해 두 분해 요소에 대해 원칙적이고 독립적인 제어가 가능해져 표현 특성의 체계적 탐색이 가능해진다.