[논문 리뷰] Disentangling Disentanglement in Variational Autoencoders

Émile Mathieu, Tom Rainforth외 2명|arXiv (Cornell University)|2018. 12. 06.

Adversarial Robustness in Machine Learning참고 문헌 55인용 수 52

한 줄 요약

논문은 VAE에서의 해방(해방성)을 latent 분해로 일반화하며, 이는 두 가지 요인인 잠재 공간의 중첩(overlap)과 단일(structured) prior에 맞춘 집합 인코딩의 합성으로 이루어지는 일반화된 개념을 제시하고, prior 선택과 alpha/beta를 가진 새로운 목적-function이 간단한 독립성 너머의 더 풍부하고 사용자 정의 가능한 표현을 만들어낸다는 점을 보여준다.

ABSTRACT

We develop a generalisation of disentanglement in VAEs---decomposition of the latent representation---characterising it as the fulfilment of two factors: a) the latent encodings of the data having an appropriate level of overlap, and b) the aggregate encoding of the data conforming to a desired structure, represented through the prior. Decomposition permits disentanglement, i.e. explicit independence between latents, as a special case, but also allows for a much richer class of properties to be imposed on the learnt representation, such as sparsity, clustering, independent subspaces, or even intricate hierarchical dependency relationships. We show that the $β$-VAE varies from the standard VAE predominantly in its control of latent overlap and that for the standard choice of an isotropic Gaussian prior, its objective is invariant to rotations of the latent representation. Viewed from the decomposition perspective, breaking this invariance with simple manipulations of the prior can yield better disentanglement with little or no detriment to reconstructions. We further demonstrate how other choices of prior can assist in producing different decompositions and introduce an alternative training objective that allows the control of both decomposition factors in a principled manner.

연구 동기 및 목표

• 잠재 공간 분해가 overl ap와 prior-structure 정합의 두 가지 요인으로 이루어진 일반적인 개념으로 동기를 부여한다.
• 복잡한 데이터에 대한 표준 해방 정의의 한계를 보여주고 보다 유연한 분해 프레임워크를 시연한다.
• beta-VAE를 분석하여 그것이 잠재 중첩을 어떻게 제어하는지와 prior 선택이 해방성에 어떤 영향을 미치는지 이해한다.
• 구체적으로 두 분해 요인을 모두 규제하는 대체 목적을 제안하여 구조화된 표현(예: 희소성, 군집화)을 가능하게 한다.

제안 방법

• VAE에서의 분해를 두 요인 충족으로 정의한다: 적절한 잠재 중첩과 prior를 매칭하는 집합 인코딩.
• beta-VAE를 증감된 prior와 디코더 측 재구성 항, 그리고 인코더에 대한 최대 엔트로피 정규화로 조정된 ELBO와 연결한다.
• 가우시안 경우에 대해 β-VAE가 잠재 공간 스케일링 및 prior 증가에 의한 표준 ELBO의 등가임을 이론적으로 보인다.
• 두 번째 분해 요인을 제어하기 위해 q(z)와 p(z) 간 발산 항을 추가하는 목적 L_{alpha,beta}를 도입한다.
• 축-정렬 분해, 군집화, 희소성 연구를 위해 비등방성 및 비가우시안 priors를 사용하여 실험한다.
• 희소성에 초점을 둔 priors를 제시하고 희소성 지표 및 재구성 성능으로 평가한다.

실험 결과

연구 질문

• RQ1 독립성 너머로 해방성을 일반화하여 복잡한 데이터 생성 과정을 수용할 수 있는가?
• RQ2 잠재 중첩(I(x; z))과 aggregate latent encodings와 prior 간의 일치가 유용한 잠재 분해를 달성하는 데 어떤 역할을 하는가?
• RQ3 prior 구조를 바꾸고 q(z)에 대한 명시적 규칙화를 도입하면 해방성을 개선하고 희소성이나 군집화와 같은 대체 분해를 가능하게 하는가?
• RQ4 beta-VAE가 두 요인 분해와 어떤 관련이 있으며 두 요인을 독립적으로 제어하기 위해 목적을 재구성할 수 있는가?
• RQ5 비등방성 priors나 희소성/ 군집화를 위한 priors가 재구성 손실을 희생하지 않으면서 해방성에 실질적 이득을 제공하는가?

주요 결과

• beta-VAE는 주로 인코더에 대한 최대 엔트로피 효과를 통해 잠재 중첩을 제어하는 반면, 그 이점은 등방 가우시안 priors 하에서 회전에 대한 prior 불변성에 의해 제한된다.
• 가우시안 priors 및 인코더의 경우 beta-VAE는 표준 ELBO의 잠재 공간 재스케일링에 의한 등가로서 상수 항들에 의해서만 차이가 난다.
• 등방 가우시안 prior의 회전 불변성은 해방성을 방해할 수 있으며, structured priors로 이 불변성을 깨면 재구성 품질을 고정한 채로 해방성이 향상된다.
• 집합 후행분포를 명시적으로 구조화된 priors(p(z))와 일치시켜 정렬을 개선하고 clustering 또는 sparsity와 같은 대체 분해를 가능하게 하는 alpha를 통한 규칙화를 제안한다.
• 비등방성 priors(e.g., anisotropic Gaussians 또는 Student-t 혼합)가 유사한 재구성 성능에서 더 나은 해방성 점수를 낸다는 실험 결과가 있으며, Fashion-MNIST 및 합성 데이터셋에서 희소성이나 군집화를 촉진하는 priors가 이를 달성한다.
• alpha와 beta를 모두 포함하는 목적은 재구성에 큰 손실 없이 희소하고 군집화된 잠재 표현을 학습할 수 있게 한다.