[논문 리뷰] Explorations in Homeomorphic Variational Auto-Encoding

Luca Falorsi, Pim de Haan외 5명|arXiv (Cornell University)|2018. 07. 12.

Neural Networks and Applications참고 문헌 10인용 수 59

한 줄 요약

논문은 재매개화(trick)를 통해 VAE를 Lie 군의 매니폴드-valued 잠재변수로 확장하고, 특히 SO(3)에서 위상 매칭 잠재공간이 구조를 보존하고 학습을 개선함을 보여준다.

ABSTRACT

The manifold hypothesis states that many kinds of high-dimensional data are concentrated near a low-dimensional manifold. If the topology of this data manifold is non-trivial, a continuous encoder network cannot embed it in a one-to-one manner without creating holes of low density in the latent space. This is at odds with the Gaussian prior assumption typically made in Variational Auto-Encoders (VAEs), because the density of a Gaussian concentrates near a blob-like manifold. In this paper we investigate the use of manifold-valued latent variables. Specifically, we focus on the important case of continuously differentiable symmetry groups (Lie groups), such as the group of 3D rotations $\operatorname{SO}(3)$. We show how a VAE with $\operatorname{SO}(3)$-valued latent variables can be constructed, by extending the reparameterization trick to compact connected Lie groups. Our experiments show that choosing manifold-valued latent variables that match the topology of the latent data manifold, is crucial to preserve the topological structure and learn a well-behaved latent space.

연구 동기 및 목표

• 데이터가 비자명한 토폴로지 위에 놓일 때 잠재 공간의 위상 구조를 보존하기 위해 매니폴드-valued 잠재변수를 사용하는 동기를 제시한다.
• SO(3)에 초점을 맞춘 컴팩트 연결 Lie 군에서 분포에 대한 재매개화 트릭을 개발한다.
• 데이터 매니폴드에서 잠재 Lie 군으로의 연속 사상을 학습하는 인코더와 구조를 존중하기 위해 그룹 작용을 활용하는 디코더를 설계한다.
• 잠재 위상과 데이터 매니폴드를 매칭시키는 것이 연속성 및 재구성에 미치는 영향을 실증적으로 보이고, 그룹 작용 디코더가 표준 디코더보다 우수함을 보인다.

제안 방법

• 재매개화: R^3에서 스케일 재매개 가능 분포로 샘플링하고, 지수 맵을 통해 so(3)으로 매핑한 뒤, 분포를 SO(3) 중심으로 맞추기 위해 그룹 원소로 좌-곱한다.
• 밀도: SO(3)에서 유도된 pushforward 밀도가 Haar 측정에 대해 절대연속성을 가지며, Rodrigues 공식과 지수 맵을 이용해 밀도를 도출함을 보인다.
• 인코더 설계: enc^mu(그룹 원소 R_mu로 매핑)와 enc^sigma(유클리드 스케일로 매핑)로 분리; enc^mu는 고정된 전사적 pi: Y -> SO(3)와 SO(3)의 Y로의 임베딩에 의존하여 집합적 동형사상을 달성한다.
• 디코더: SO(3)를 사용한 잠재 표현의 회전을 수행하는 그룹-액션 디코더를 구현하고 데이터 공간으로 다시 투영한다; 포즈 처리에 대해 Wigner-D 매트릭스를 사용하는 Fourier-해석적 디코더를 제안한다.
• 실험: 합성 SO(3) 임베딩 및 회전된 색 큐브 이미지에서 Gaussian 및 초구(Base-line) 대비로 SO(3) 잠재변수를 비교하고, NLL/ELBO 및 재구성을 통해 연속성과 가능도를 평가한다.
• 탐색: 평균 매개화(q, alg, s2s1, s2s2 등)들을 분석하고 위상 인식 매개화가 연속적 임베딩을 산출함을 보인다.

실험 결과

연구 질문

• RQ1 Lie 군(SO(3))에 존재하는 잠재 변수를 재매개화하여 VAE에서 엔드-투-엔드 학습과 위상 보장을 가능하게 할 수 있는가?
• RQ2 잠재 공간의 위상을 데이터 매니폴드와 정렬하는 것이 일반 Gaussian VAE에 비해 연속성, 재구성 품질, 로그 가능도에 개선을 가져오는가?
• RQ3 그룹 작용 디코더가 일반 MLP 디코더보다 잠재 구조를 더 잘 보존하고 활용하는가?
• RQ4 SO(3)의 다른 평균 매개화(예: 쿼터니언, Lie 대수, 구면 곱)들이 연속성 및 매니폴드 표현에 어떤 영향을 미치는가?
• RQ5 제안된 접근이 SO(3) 외의 다른 컴팩트하고 연결된 Lie 군들에도 일반화될 수 있는가?

주요 결과

• SO(3) 분포에 대한 재매개화 트릭이 도출되어 SO(3) 잠재 변수를 이용한 VAE 학습이 가능해졌다.
• 인코더는 SO(3) 데이터 매니폴드와 SO(3) 잠재 매니폴드 간의 동형사를 학습하여 위상 구조를 보존한다.
• 그룹 작용 디코더는 성능을 개선하고 잠재 공간의 구조를 군과 일치시키도록 촉진하며, MLP 디코더보다 우수하다.
• 위상 매칭 잠재변수(특히 S^2 × S^2 평균 매개화)가 평탄한 가우시안 잠재변수보다 더 연속적이고 충실한 잠재 임베딩을 제공한다.
• 가우시안 및 Lie 대수 기반 평균 매개화는 불연속성을 도입할 수 있는 반면, 위상 인식 매개화는 잠재 궤도에서 연속성을 유지한다.
• SO(3)에 내재된 데이터와 회전된 큐브 이미지에 대한 실험은 적절한 매니폴드-valued 잠재만이 연속 임베딩과 더 높은 로그 가능도를 달성함을 보여준다.