[논문 리뷰] Jigsaw-VAE: Towards Balancing Features in Variational Autoencoders

Saeid Asgari Taghanaki, Mohammad Havaei외 4명|arXiv (Cornell University)|2020. 05. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 41인용 수 6

한 줄 요약

이 논문은 변동형 자동차코더(Jigsaw-VAE)를 제안하며, 임베딩 표현 내의 특징 불균형 문제를 완화하기 위해 확률적 공간 순열과 혼합 사전을 적용함으로써 주로 색상과 같은 주요 특징과 희귀한 특징인 형태와 같은 특징 간 균형 임베딩 학습을 가능하게 한다. 이 방법은 분포 이탈 상황에서도 하류 클러스터링 작업에서 성능을 향상시키고, 기준 VAE보다 생성 다양성과 현실감을 높인다.

ABSTRACT

The latent variables learned by VAEs have seen considerable interest as an unsupervised way of extracting features, which can then be used for downstream tasks. There is a growing interest in the question of whether features learned on one environment will generalize across different environments. We demonstrate here that VAE latent variables often focus on some factors of variation at the expense of others - in this case we refer to the features as ``imbalanced''. Feature imbalance leads to poor generalization when the latent variables are used in an environment where the presence of features changes. Similarly, latent variables trained with imbalanced features induce the VAE to generate less diverse (i.e. biased towards dominant features) samples. To address this, we propose a regularization scheme for VAEs, which we show substantially addresses the feature imbalance problem. We also introduce a simple metric to measure the balance of features in generated images.

연구 동기 및 목표

• 색상과 같은 주요 특징에 과적합되는 경향이 있어 형태와 같은 희귀 특징을 손상시키는 VAE 내 특징 불균형 문제를 해결하기 위해.
• 학습 데이터 분포와 다를 경우 하류 작업(예: 클러스터링)에서 VAE 기반 표현의 일반화 성능을 향상시키기 위해.
• 잠재 공간 내 다수의 변동 요인(예: 색상과 구조)에 대한 균형 임베딩 학습을 유도하는 방법을 개발하기 위해.
• 생성 샘플이 훈련 데이터의 특징을 얼마나 잘 유지하는지 정량적으로 평가하기 위해 새로운 지표인 특징 존재 지표(FPM)를 도입하기 위해.
• 순열 기반 정규화가 재구성 품질이나 샘플링 품질을 저하시키지 않은 채 VAE 내 표현 편향을 효과적으로 감소시킬 수 있는지 입증하기 위해.

제안 방법

• 입력 이미지의 랜덤 공간 타일링 및 재배열을 적용하는 확률적 조각 순열 레이어를 도입하여, VAE가 국소적인 구조적 관계를 학습하도록 유도한다.
• 우도 항과 KL 발산 항 간의 갈등을 완화하기 위해 잠재 공간에 혼합 사전을 적용하여 사후 분포의 일치도를 향상시킨다.
• 각 샘플 별로 독립적으로 순열 연산을 적용하여, 각 순전파에서 이미지 패치의 배열이 다르게 보이도록 한다.
• 순열 불변 재구성 손실과 혼합 사전을 포함한 수정된 VAE 목적함수를 사용하여 균형 임베딩 학습을 유도한다.
• 새로운 정규화 구성 요소를 포함한 표준 기초 하한 추정량(ELBO)을 사용하여 모델을 종합적으로 훈련한다.
• VAE가 학습한 잠재 코드에 기반해 클러스터링 헤드를 훈련시켜 하류 클러스터링 작업에 적합하게 하고, 정규화된 상호정보량(NMI)을 통해 특징 균형도를 평가한다.

실험 결과

연구 질문

• RQ1 VAE에서 입력에 대한 확률적 순열 적용이 색상과 같은 주요 특징에 대한 편향을 줄일 수 있는가?
• RQ2 제안된 Jigsaw-VAE 방법이 표준 VAE 및 기타 분리성 학습 방법에 비해 잠재 공간 내 학습된 특징의 균형을 향상시키는가?
• RQ3 테스트 분포가 하나의 특징(예: 모든 숫자가 노란색으로 칠해진 경우)으로 이격될 경우, 모델의 하류 클러스터링 작업 성능은 어떻게 되는가?
• RQ4 제안된 특징 존재 지표(FPM)는 생성 샘플 내 훈련 데이터 특징의 유지 정도를 효과적으로 측정할 수 있는가?
• RQ5 Jigsaw-VAE는 β-VAE 및 d-VAE와 같은 기존 VAE 변종에 비해 더 다양한 샘플과 현실감 있는 샘플을 생성하는가?

주요 결과

• Jigsaw-VAE는 단일 색상 MNIST 테스트 세트에서 NMI 점수 0.9473을 기록하여, β-VAE(0.8766)와 VAE(0.8872)를 크게 앞서며 색상과 형태 특징 간 균형이 우수함을 보였다.
• 단일 색상 테스트 세트에서 Jigsaw-VAE는 중앙값 NMI 0.379를 기록했고, Mixup-VAE는 0.114, β-VAE는 7.8e-6에 그쳤으며, 이는 특징 분포 이탈에 대한 강건성을 입증한다.
• 재구성 작업에서 Jigsaw-VAE는 입력 숫자가 균일하게 칠해진 경우에도 색상과 형태를 모두 잘 유지한 생성 샘플을 생성했고, 비-Jigsaw 모델들은 주로 군집의 주요 특징에 기반해 잘못된 색상을 할당했다.
• 제안된 특징 존재 지표(FPM)는 표준 설정에서 MSE 및 FPM 성능이 경쟁적인 β-VAE에 비해 Jigsaw-VAE가 더 많은 훈련 데이터 특징을 유지하고 있음을 보여주었다.
• Jigsaw-VAE는 샘플 간 보간이 더 매끄럽고 급격한 특징 변화가 없었으며, 이는 잠재 공간 내 더 나은 분리성과 연속성을 의미한다.
• CelebA 데이터셋에서 Jigsaw-VAE는 β-VAE보다 더 현실적이고 다양한 샘플을 생성했고, β-VAE는 높은 FPM 및 MSE 점수를 기록했음에도 불구하고 시각적으로 덜 현실적인 이미지를 생성했다.