[논문 리뷰] Disentangled Representation Learning with Wasserstein Total Correlation

Yijun Xiao, William Yang Wang|arXiv (Cornell University)|2019. 12. 30.

Generative Adversarial Networks and Image Synthesis참고 문헌 36인용 수 8

한 줄 요약

이 논문은 VAE 및 WAE 프레임워크 내에서 KL 발산 기반 총 상관관계를 더 견고한 워샤르슈타인 거리 기반 대안으로 대체함으로써 분리 표현 학습을 향상시키기 위해 워샤르슈타인 총 상관관계(WTC)를 제안한다. 비평가 네트워크를 통해 WTC를 추정함으로써, 최소한의 재구성 오차를 동반하면서도 최신 기준을 초월하는 분리도를 달성하며, 여러 벤치마크에서 기존 방법들을 능가한다. 또한 더 신뢰할 수 있는 평가를 위해 새로운 지표인 워샤르슈타인 종속성 갭(WDG)을 도입한다.

ABSTRACT

Unsupervised learning of disentangled representations involves uncovering of different factors of variations that contribute to the data generation process. Total correlation penalization has been a key component in recent methods towards disentanglement. However, Kullback-Leibler (KL) divergence-based total correlation is metric-agnostic and sensitive to data samples. In this paper, we introduce Wasserstein total correlation in both variational autoencoder and Wasserstein autoencoder settings to learn disentangled latent representations. A critic is adversarially trained along with the main objective to estimate the Wasserstein total correlation term. We discuss the benefits of using Wasserstein distance over KL divergence to measure independence and conduct quantitative and qualitative experiments on several data sets. Moreover, we introduce a new metric to measure disentanglement. We show that the proposed approach has comparable performances on disentanglement with smaller sacrifices in reconstruction abilities.

연구 동기 및 목표

• 분리 표현 학습에서 총 상관관계를 추정할 때 발생하는 안정성 문제와 KL 발산의 메트릭 무관성 문제를 해결하기 위해.
• 워샤르슈타인 거리 기반의 더 견고하고 기하학적 인식 능력을 갖춘 KL 기반 총 상관관계의 대안을 개발하기 위해.
• 같은 원리에 기반한 새로운 분리도 평가 지표인 워샤르슈타인 종속성 갭(WDG)을 도입하여 잠재 요소 간의 독립성을 더 잘 포착하기 위해.
• 비지도 표현 학습에서 분리도와 재구성 품질 사이의 더 나은 트레이드오프를 달성하기 위해.

제안 방법

• KL 기반 총 상관관계의 메트릭 무관성 및 기하학적 인식 능력 부족 문제를 해결하기 위해, 워샤르슈타인 총 상관관계(WTC)를 제안한다.
• VAE 및 워샤르슈타인 오토에인드로이저(WAE) 프레임워크 내에서 WTC 항목을 추정하기 위해 비평가 네트워크를 적대적으로 훈련시킨다.
• 분리도와 재구성을 균형 잡기 위해 정규화 강도 하이퍼파rameter γ를 사용하여 WTC를 오토에인딩 목적함에 통합한다.
• WTC와 같은 원리에 기반한 새로운 분리도 평가 지표인 워샤르슈타인 종속성 갭(WDG)을 도입한다.
• WTC 항목의 안정적인 추정을 보장하기 위해 기울기 페널티를 사용해 립시츠 연속성을 확보한 비평가 네트워크를 훈련시킨다.
• 스케일이 가능한 방식으로 WTC 정규화 목적함을 최적화하기 위해 몬테카를로 샘플링과 미니배치 훈련을 활용한다.

실험 결과

연구 질문

• RQ1 KL 발산 대비 워샤르슈타인 거리 기반의 총 상관관계 수식이 분리 표현 학습의 안정성과 견고성 향상에 기여하는가?
• RQ2 제안된 워샤르슈타인 총 상관관계(WTC)가 낮은 재구성 오차를 유지하면서도 더 나은 분리도를 달성하는가?
• RQ3 새로운 워샤르슈타인 종속성 갭(WDG) 평가 지표가 기존 지표보다 더 신뢰성 있고 일관성 있는 분리도 평가를 가능하게 하는가?
• RQ4 WTC의 정규화 강도가 분리도와 재구성 성능 사이의 트레이드오프에 어떤 영향을 미치는가?

주요 결과

• WTC-VAE는 dSprites, Shapes3D, Cars3D 세 가지 데이터셋에서 모두 최신 기준 모델과 비교해 유사하거나 더 높은 분리도 점수를 기록했으며, VAE 기반 방법 중에서 가장 낮은 재구성 오차를 기록했다.
• WTC-WAE는 표준 WAE 대비 일관된 성능 향상을 보이며, WAE 프레임워크 내에서 WTC의 효과성을 입증했다.
• 제안된 워샤르슈타인 종속성 갭(WDG) 지표는 FactorVAE, MIG, Modularity와 높은 순위 상관관계를 보이며, 신뢰성 있고 일관성 있는 평가 지표임을 시사한다.
• dSprites 및 Shapes3D에서 WTC 정규화 강도 γ를 증가시킬수록 WDG 점수가 높아지며, 더 강한 정규화가 더 나은 분리도를 유도함을 나타낸다.
• CelebA에서 WTC-VAE는 굵은 털, 얼굴 너비 등 의미 있는 세밀한 요소를 성공적으로 발견하여 정성적 분리도를 입증했다.
• 높은 분리도 수준에서도 강력한 재구성 성능를 유지하여, WTC-VAE가 분리도-재구성 트레이드오프 플롯의 상단 왼쪽 영역에 위치함을 보였다.