[논문 리뷰] Disentangled Representations from Non-Disentangled Models

Valentin Khrulkov, Leyla Mirvakhabova외 2명|arXiv (Cornell University)|2021. 02. 11.

Adversarial Robustness in Machine Learning참고 문헌 50인용 수 8

한 줄 요약

이 논문은 학습 중에 탈결합 정규화를 사용하지 않고도 사전 학습된 생성 모델, 특히 StyleGAN2에서 탈결합 표현을 추출하는 후행 탈결합 방법을 제안한다. DeepSpectral 및 ClosedForm과 같은 잠재 공간 분석 기법을 활용하여 최소한의 초모수 조정으로 벤치마크 데이터셋에서 최신 기술 수준의 탈결합 성능를 달성한다. 이는 고품질 GAN에서 자연스럽게 탈결합 인자가 나타날 수 있음을 보여준다.

ABSTRACT

Constructing disentangled representations is known to be a difficult task, especially in the unsupervised scenario. The dominating paradigm of unsupervised disentanglement is currently to train a generative model that separates different factors of variation in its latent space. This separation is typically enforced by training with specific regularization terms in the model's objective function. These terms, however, introduce additional hyperparameters responsible for the trade-off between disentanglement and generation quality. While tuning these hyperparameters is crucial for proper disentanglement, it is often unclear how to tune them without external supervision. This paper investigates an alternative route to disentangled representations. Namely, we propose to extract such representations from the state-of-the-art generative models trained without disentangling terms in their objectives. This paradigm of post hoc disentanglement employs little or no hyperparameters when learning representations while achieving results on par with existing state-of-the-art, as shown by comparison in terms of established disentanglement metrics, fairness, and the abstract reasoning task. All our code and models are publicly available.

연구 동기 및 목표

• 비지도 탈결합 학습에서 초모수 민감성 문제를 해결하기 위해, 특히 참조 인자 레이블이 없는 상황에서의 도전 과제를 다루기 위해.
• 탈결합 정규화 없이 사전 학습된 생성 모델에서 탈결합 표현을 추출할 수 있는지 조사하기 위해.
• 반복적인 정규화 항의 초모수 조정이 필요 없는 후행 탈결합 프레임워크를 개발하기 위해.
• 추출된 표현이 추상적 추론 및 공정성과 같은 후행 작업에서 얼마나 유용한지 평가하기 위해.

제안 방법

• 모델은 사전 학습된 StyleGAN2 생성기에서 개별 변동 인자에 해당하는 잠재 공간 방향을 식별함으로써 탈결합 표현을 추출한다.
• 특정 변동 인자와 가장 높은 상관관계를 가지는 잠재 공간 방향을 식별하기 위해 스펙트럼 클러스터링 기반 기법(DepthSpectral)을 사용한다.
• 선형 프로브를 사용하여 잠재 방향과 참조 인자 간의 상관관계를 추정함으로써 탈결합된 구성요소를 선택한다.
• 반복 최적화를 피하기 위해 상호정보량이 높은 방향을 식별하기 위해 폐형 해법(ClosedForm)을 적용한다.
• 이 프레임워크는 GAN, VAE, 노멀라이징 플로우를 포함한 잠재 공간이 명시적으로 존재하는 모든 생성 모델에 일반적으로 적용 가능하다.
• 에코더는 GAN가 생성한 합성 데이터로 훈련되며, 결과로 생성된 표현은 표준 탈결합 메트릭을 사용하여 평가된다.

실험 결과

연구 질문

• RQ1 학습 중에 추가 정규화 없이도 StyleGAN2와 같은 탈결합되지 않은 생성 모델에서 효과적으로 탈결합 표현을 추출할 수 있는가?
• RQ2 기본적인 탈결합 메트릭 및 후행 작업 성능 측면에서 후행 탈결합 기법은 종단 간 탈결합 모델과 어떻게 비교되는가?
• RQ3 사전 학습된 GAN의 잠재 방향이 명시적인 탈결합 목표 없이도 이미 탈결합된 인자를 얼마나 잘 포함하고 있는가?
• RQ4 제안된 방법이 VAE 기반 아키텍처나 복잡한 초모수 조정에 의존하지 않고도 추상적 추론 및 공정성 벤치마크에서 경쟁 가능한 성능를 달성할 수 있는가?

주요 결과

• 제안된 후행 탈결합 방법은 모든 평가된 데이터셋에서 최신 기술 수준의 방법, 예를 들어 InfoStyleGAN*과 비교해도 경쟁 가능한 MIG 점수를 달성한다.
• 3D Shapes 데이터셋에서 DeepSpectral 방법은 최고의 MIG 점수를 기록했으며, GAN 기반 방법 중 평균 성능도 최고였다.
• WReN 모델을 사용하여 추상적 추론 작업에서 95% 이상의 정확도를 달성했으며, 최신 기술 수준의 VAE 기반 모델과 유사한 성능를 보였다.
• 공정성 평가에서, VAE 기반 기준보다 불공정도 점수의 분산이 더 낮았고, 이는 이전 방법의 결과와 비교해도 유사하거나 더 우수한 분포를 보였다.
• 결과는 StyleGAN2의 잠재 공간이 이미 매우 탈결합된 방향을 포함하고 있어 보조 정규화가 필요로 하는 정도가 줄어들 수 있음을 시사한다.
• ProGAN에 대한 실험에서는 약간 열악한 성능를 보였으며, 이는 진짜 데이터와 ProGAN가 생성한 샘플 간의 분포 갭이 더 크기 때문으로 기인된다.