[논문 리뷰] Commutative Lie Group VAE for Disentanglement Learning

Xinqi Zhu, Chang Xu외 1명|arXiv (Cornell University)|2021. 06. 07.

Digital Media Forensic Detection참고 문헌 42인용 수 6

한 줄 요약

이 논문은 고정된 벡터 공간 대신 적응형 군 구조를 사용하여 데이터 변형을 모델링하는 공변 리 군 변분 오토에코더(Commutative Lie Group Variational Autoencoders, CLG-VAE)를 제안한다. 리 대수를 통한 군의 매개변수화와 공변 분해 및 헤시안 페널티를 적용함으로써, 통계적 인지성 제약 조건 없이 DSprites와 3DShapes에서 최신 기준 성능을 달성한다.

ABSTRACT

We view disentanglement learning as discovering an underlying structure that equivariantly reflects the factorized variations shown in data. Traditionally, such a structure is fixed to be a vector space with data variations represented by translations along individual latent dimensions. We argue this simple structure is suboptimal since it requires the model to learn to discard the properties (e.g. different scales of changes, different levels of abstractness) of data variations, which is an extra work than equivariance learning. Instead, we propose to encode the data variations with groups, a structure not only can equivariantly represent variations, but can also be adaptively optimized to preserve the properties of data variations. Considering it is hard to conduct training on group structures, we focus on Lie groups and adopt a parameterization using Lie algebra. Based on the parameterization, some disentanglement learning constraints are naturally derived. A simple model named Commutative Lie Group VAE is introduced to realize the group-based disentanglement learning. Experiments show that our model can effectively learn disentangled representations without supervision, and can achieve state-of-the-art performance without extra constraints.

연구 동기 및 목표

• 고정된 벡터 공간 표현의 비최적성 문제를 해결하기 위해 데이터 변형을 적응형 군 구조로 모델링한다.
• 고정된 벡터 공간 이동 대신 군 작용을 통한 등변 표현을 학습하여 비지도 분리 학습을 가능하게 한다.
• 리 군 이론에서 유도된 실용적인 훈련 제약 조건을 도출한다.
• 통계적 인지성에 의존하지 않고도 군 기반 표현 학습이 최신 기준 성능을 달성할 수 있음을 보여준다.
• 기본 최적화 방법을 사용할 수 있는 간단하고 효과적인 VAE 변형인 브로드레일-VAE를 제공한다.

제안 방법

• 군 기반 학습을 위한 목적 함수를 단순화하기 위해 log p(x)의 새로운 하한을 제안하며, 이를 통해 브로드레일-VAE라는 VAE 변형을 도출한다.
• 리 대수 매개변수화를 사용하여 군 원소를 선형 공간으로 매핑함으로써 리 군 상에서의 미분 가능 최적화 및 샘플링을 가능하게 한다.
• 군 구조 가정에서 유도된 두 가지 자연스러운 제약 조건을 도입한다: 한 파라미터 부분군 분해와 헤시안 페널티.
• 브로드레일-VAE 디코더에 공변 분해 제약 조건을 갖춘 지수 매핑 레이어를 추가하여 공변 리 군 VAE를 구성한다.
• 지수 매핑을 사용하여 학습된 리 대수 벡터를 군 원소로 변환하여 분리된 데이터 변형을 표현한다.
• 리 군의 교환 법칙을 활용하여 분해를 단순화하고, 구조적 제약 조건을 통해 분리성을 강제한다.

실험 결과

연구 질문

• RQ1 적응형 군 구조가 고정된 벡터 공간에 비해 비지도 분리 학습에서 더 나은 성능을 내는가?
• RQ2 통계적 인지성 제약을 부과하지 않고도 군 이론적 등변성의 특성을 활용하여 분리성을 달성할 수 있는가?
• RQ3 리 대수 매개변수화가 군 기반 생성 모델의 실용적 훈련을 가능하게 하는가?
• RQ4 헤시안 페널티와 한 파라미터 부분군 분해와 같은 군 기반 제약 조건이 분리 성능에 어떤 영향을 미치는가?
• RQ5 제안된 모델은 감독 없이도 복잡한 실제 데이터 세트로 일반화 가능한가?

주요 결과

• 제안된 공변 리 군 VAE는 통계적 인지성 제약 조건 없이도 DSprites와 3DShapes 데이터셋에서 최신 기준 성능을 달성한다.
• DSprites에서, 이 모델은 비교된 모든 방법들 중에서 가장 높은 FVM 점수를 기록하여 뛰어난 분리 성능을 보였다.
• CelebA에서, 이 모델은 FactorVAE에서 엔트레인된 것들과는 달리 더 깔끔하고 해석 가능한 의미적 속성(예: 이마 헤어 스타일, 메이크업)을 발견하였다.
• Mnist에서, 이 모델은 숫자 크기와 곡선성과 같은 의미 있는 연속적 변형을 학습하였으며, 숫자 4에 대해 새로운 '리프팅' 개념까지 도입하였다.
• 3DChairs에서, 이 모델은 다른 이론적 기반을 가진 최신 기준인 CascadeVAE와 유사한 수준의 분리 성능를 달성하였다.
• 정성적 결과에서는, 기존 기준 모델들과 달리 배경 개념과 얼굴 속성 간의 분리를 효과적으로 수행하는 것으로 나타났다.