[논문 리뷰] Disentangled Representation Learning and Generation with Manifold Optimization

Arun Pandey, Michaël Fanuel외 2명|arXiv (Cornell University)|2020. 06. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 30인용 수 6

한 줄 요약

이 논문은 잠재 공간에서 변동의 직교 방향을 강제하기 위해 스티펠 맨니폴드 위에서의 다양체 최적화를 사용하는 분리 표현 학습 프레임워크인 St-RKM을 제안한다. 이는 기존 VAE보다 분리도와 생성 품질을 모두 향상시킨다. 특징 공간에서 표준 오토에코더 손실과 PCA 기반 복원 오차를 조합함으로써, 잠재 공간의 주성분이 직교된 데이터 변동과 일치하게 하여, 최소한의 계산 오버헤드로 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Disentanglement is a useful property in representation learning which increases the interpretability of generative models such as Variational autoencoders (VAE), Generative Adversarial Models, and their many variants. Typically in such models, an increase in disentanglement performance is traded-off with generation quality. In the context of latent space models, this work presents a representation learning framework that explicitly promotes disentanglement by encouraging orthogonal directions of variations. The proposed objective is the sum of an autoencoder error term along with a Principal Component Analysis reconstruction error in the feature space. This has an interpretation of a Restricted Kernel Machine with the eigenvector matrix-valued on the Stiefel manifold. Our analysis shows that such a construction promotes disentanglement by matching the principal directions in the latent space with the directions of orthogonal variation in data space. In an alternating minimization scheme, we use Cayley ADAM algorithm - a stochastic optimization method on the Stiefel manifold along with the ADAM optimizer. Our theoretical discussion and various experiments show that the proposed model improves over many VAE variants in terms of both generation quality and disentangled representation learning.

연구 동기 및 목표

• 변동 자료의 분리도와 생성 품질 사이의 상충관계를 해결하기 위해 변동 자료의 분리도와 생성 품질 사이의 상충관계를 해결하기 위해.
• 잠재 공간에서 직교된 변동을 통해 분리도를 명시적으로 촉진하는 표현 학습 프레임워크를 개발하기 위해.
• 잠재 표현에 대한 구조적 제약를 강제하기 위해 다양체 최적화를 오토에코더 학습과 통합하기 위해.
• 표본 품질을 희생시키지 않고도 이해 가능성과 분리도를 향상시키기 위해, 복잡한 아키텍처 수정 없이도 가능하게 하기 위해.
• 주성분 분석, 커널 방법, 그리고 분리 표현 간의 이론적 및 실증적 연결을 수립하기 위해.

제안 방법

• 모델은 표준 오토에코더 복원 손실과 특징 공간에서 주성분 분석(PCA) 기반 복원 오차를 조합한 하이브리드 목적함수를 사용한다.
• 잠재 공간에서 주성분 방향의 직교성을 강제하기 위해 스티펠 맨니폴드에서 최적화가 수행된다.
• 스토하스틱 최적화를 위해 캐일리 ADAM 알고리즘이 사용되며, 다양체 제약과 적응형 학습을 결합한다.
• 프레임워크는 고유벡터 행렬이 스티펠 맨니폴드에 제약을 받는 제한된 커널 기반 기계(Restricted Kernel Machine, RKM)로 공식화된다.
• 에코더/디코더 파라미터와 직교 기저 행렬 간의 교차 최소화를 통해, 기하학적 제약을 통해 분리도를 보장한다.
• 잠재 공간의 방향이 데이터 공간에서의 직교된 변동과 연결되는 미분 가능한 목적함수를 사용하여 종합적으로 학습된다.

실험 결과

연구 질문

• RQ1 스티펠 맨니폴드에서 명시적인 다양체 최적화가 VAE에서 분리도를 향상시키면서도 높은 품질의 생성을 유지하는가?
• RQ2 잠재 공간에서 주성분의 직교성을 강제함으로써 학습된 표현의 이해 가능성과 분리도에 어떤 영향을 미치는가?
• RQ3 제안된 St-RKM 프레임워크가 표준 VAE와 β-VAE에 비해 분리도 지표와 표본 품질 측면에서 어느 정도 뛰어나게 성능을 내는가?
• RQ4 오토에코더 복원과 PCA 기반 정규화를 조합함으로써, 기저 데이터 요인의 분리도에 어떤 영향을 미치는가?
• RQ5 3Dshapes, D-Sprites, Cars3D와 같은 다양한 데이터셋에서 St-RKM 모델이 완전성, 분리도, 정보성 측면에서 어떻게 성능을 내는가?

주요 결과

• 모든 평가된 데이터셋에서 St-RKM 모델은 기준 모델보다 높은 평균 분리도 및 완전성 점수를 기록했으며, St-RKM-sl 버전에서 가장 높은 MIG 및 SAP 점수를 기록했다.
• 3Dshapes 데이터셋에서 St-RKM는 바닥 색조, 벽 색조, 방향을 완벽하게 포착했고, β-VAE는 바닥 색조를 제외한 모든 차원에서 엔터티를 보였으며 노이즈가 많은 이미지를 생성했다.
• 생성 품질을 떨어뜨리지 않고도 분리도를 향상시켜, VAE 기반 표현 학습에서의 핵심 상충관계를 성공적으로 해소했다.
• St-RKM는 β-VAE 대비 학습 시간을 약간만 증가시켜, 다양체 최적화를 고려할 때도 계산 효율성이 높음을 시사한다.
• 라소 회귀분석을 사용할 경우 St-RKM의 정보성 점수가 기준 모델보다 높았으며, 랜덤 포레스트 회귀분석을 사용할 경우 혼합적이지만 경쟁 가능한 성능을 기록하여 평가 방법에 대한 강건성을 확인했다.
• 잠재 공간의 주성분에 대한 정성적 분석 결과, 각 주성분이 입력 공간에서 단일이고 해석 가능한 변동 요인(예: 물체 크기 또는 벽 색상)에 해당하는 것으로 확인되었다.