[논문 리뷰] Independent Subspace Analysis for Unsupervised Learning of Disentangled Representations

Jan Stühmer, Richard E. Turner외 1명|arXiv (Cornell University)|2019. 09. 05.

Digital Media Forensic Detection참고 문헌 44인용 수 8

한 줄 요약

이 논문은 수정된 손실 목표 함수에 의존하지 않고, 회전 대칭이 아닌 잠재 우선분포를 제안하여 비지도 분리 표현 학습을 가능하게 한다. 잠재 공간을 독립적인 부분공간으로 구조화함으로써, 재구성과 분리성 간의 상충관계를 완화하고 변분 추론에서 발생하는 편향을 줄이며, 표준 ELBO 목표 함수를 사용하여 최신 기준을 충족하는 분리 성능을 달성한다.

ABSTRACT

Recently there has been an increased interest in unsupervised learning of disentangled representations using the Variational Autoencoder (VAE) framework. Most of the existing work has focused largely on modifying the variational cost function to achieve this goal. We first show that these modifications, e.g. beta-VAE, simplify the tendency of variational inference to underfit causing pathological over-pruning and over-orthogonalization of learned components. Second we propose a complementary approach: to modify the probabilistic model with a structured latent prior. This prior allows to discover latent variable representations that are structured into a hierarchy of independent vector spaces. The proposed prior has three major advantages: First, in contrast to the standard VAE normal prior the proposed prior is not rotationally invariant. This resolves the problem of unidentifiability of the standard VAE normal prior. Second, we demonstrate that the proposed prior encourages a disentangled latent representation which facilitates learning of disentangled representations. Third, extensive quantitative experiments demonstrate that the prior significantly mitigates the trade-off between reconstruction loss and disentanglement over the state of the art.

연구 동기 및 목표

• 회전 대칭이 정규 우선분포에 의해 유도되는 표준 VAE에서의 본질적 식별 문제를 해결하기 위해.
• 변분 추론이 직교 및 잘린 잠재 성분을 향해 편향되는 것을 완화하기 위해.
• β-VAE 및 β-TCVAE와 같은 방법에서 관찰되는 재구성-분리성 상충관계를 제거하기 위해.
• 표준 ELBO 목표 함수를 통해 구조화된 우선분포를 통해 분리 표현을 가능하게 하기 위해.
• 분리 성능 향상을 위해 손실 함수 수정을 대체할 수 있는 원리적인 대안을 제공하기 위해.

제안 방법

• 표준 정규 우선분포의 회전 대칭성을 깨뜨리는, 회전 대칭이 아닌 분포의 가족을 제안하여 구조화된 잠재 우선분포를 설계한다.
• 잠재 공간을 독립적인 부분공간으로 분해하여 계층적 분리 표현을 가능하게 한다.
• β-가중치나 총 상관관계 페널티 없이 표준 VAE 목표 함수(ELBO)를 사용한다.
• 평균장 근사와 재구성 기반 경사 하강법을 사용한 변분 추론을 적용한다.
• 각 부분공간 내부의 구조를 허용하면서도 부분공간 간의 통계적 독립성을 강제하기 위해 우선분포를 적용한다.
• 표준 데이터셋에서 MIG, SAP, dci 점수와 같은 정량적 벤치마크를 사용하여 접근 방식을 검증한다.

실험 결과

연구 질문

• RQ1 구조화된 잠재 우선분포가 ELBO 목표 함수를 수정하지 않고도 분리 성능 향상을 이끌 수 있는가?
• RQ2 우선분포에서 회전 대칭성을 제거함으로써 VAE의 식별 문제를 해결할 수 있는가?
• RQ3 제안된 우선분포가 변분 추론이 직교 및 잘린 성분을 향한 편향을 줄일 수 있는가?
• RQ4 이 방법이 β-VAE 및 β-TCVAE에서 관찰되는 재구성-분리성 상충관계를 완화하는가?
• RQ5 새로운 우선분포를 사용하여 표준 ELBO만으로 효과적으로 분리 표현을 학습할 수 있는가?

주요 결과

• 제안된 우선분포는 재구성-분리성 상충관계를 크게 감소시켜, 여러 벤치마크에서 β-VAE 및 β-TCVAE를 능가한다.
• 표준 ELBO를 사용하여도 분리 표현을 달성할 수 있으며, 목표 함수에 어떠한 수정도 가하지 않았다.
• 특히 높은 β 설정에서 발생하는 변분 추론의 과도한 직교화 및 과도한 잘림 편향을 완화한다.
• dSprites 및 기타 데이터셋에서의 실험 결과, 최신 기술 대비 뛰어난 MIG 및 SAP 점수를 확보한다.
• 회전 대칭이 아닌 우선분포는 복잡한 데이터 분포에서도 의미 있고 해석 가능한 변화 인자들을 발견하는 데 기여한다.
• ICA 분석 결과, 표준 VI 및 β-VAE는 직교 해법을 향한 편향을 악화시키지만, 새로운 우선분포는 이러한 병태를 피한다.