[논문 리뷰] Sparsity in Variational Autoencoders

Andrea Asperti|arXiv (Cornell University)|2018. 12. 18.

Generative Adversarial Networks and Image Synthesis참고 문헌 20인용 수 8

한 줄 요약

이 논문은 변분 오토인코더(VAEs)에서의 희소성(sparsity)을 '과도한 정렬(over-pruning)'이라는 결함로 보는 시각을 넘어서, 모델이 주요 특징에 집중하게 하여 과적합을 줄이는 유익한 자기정규화(self-regularization)의 한 형태로 재해석한다. 클룰바크-라이블러(Kullback-Leibler) 발산 항은 고차원 잠재공간에서 자연스럽게 희소성을 유도하며, 저자들은 잠재차원을 조정하여 모델 용량을 조절함으로써 최적의 희소성을 달성할 것을 주장한다. 특히 컨볼루션 아키텍처는 공간적 특징 상관관계로 인해 덜 희소성을 보인다.

ABSTRACT

Working in high-dimensional latent spaces, the internal encoding of data in Variational Autoencoders becomes naturally sparse. We discuss this known but controversial phenomenon sometimes refereed to as overpruning, to emphasize the under-use of the model capacity. In fact, it is an important form of self-regularization, with all the typical benefits associated with sparsity: it forces the model to focus on the really important features, highly reducing the risk of overfitting. Especially, it is a major methodological guide for the correct tuning of the model capacity, progressively augmenting it to attain sparsity, or conversely reducing the dimension of the network removing links to zeroed out neurons. The degree of sparsity crucially depends on the network architecture: for instance, convolutional networks typically show less sparsity, likely due to the tighter relation of features to different spatial regions of the input.

연구 동기 및 목표

• VAE에서 널리 인식되는 희소성 문제—일반적으로 '과도한 정렬(over-pruning)'로 간주되는 것—을 유익한 자기정규화 메커니즘으로 재해석하는 것.
• VAE 목표함수에 포함된 클룰바크-라이블러(KL) 발산 항이 고차원 잠재공간에서 자연스럽게 희소성을 유도함을 보여주는 것.
• 잠재차원을 점진적으로 증가 또는 감소시켜 모델 용량을 조절하는 데 희소성을 방법론적 가이드로 사용하는 것을 제안하는 것.
• 컨볼루션 레이어와 같은 아키텍처 선택이 유도된 희소성 정도에 어떤 영향을 미치는지 조사하는 것.
• 임의의 정규화 기법을 피하고, 잠재변수 상관관계를 줄이며 희소성의 이점을 극대화하는 아키텍처적 개선을 주장하는 것.

제안 방법

• 논문은 특히 Evidence Lower Bound(ELBO)를 포함한 VAE 목표함수를 분석하며, 정규화로 기능하는 $KL(Q(z|X) \|\| P(z))$ 항을 중심으로 다룬다.
• 고차원 잠재공간에서 KL 항은 많은 잠재변수를 0으로 설정하게 하여 입력과 무관한 희소 표현을 유도함을 보여준다.
• 저자들은 이러한 희소성을 진단 도구로 활용한다: 재구성 성능은 좋지만 생성 성능이 열악한 경우, 집합 사후분포 $Q(z)$와 사전분포 $P(z)$ 사이의 불일치를 시사한다.
• 두 단계로 구성된 VAE 접근법을 제안하며, 두 번째 VAE가 $Q(z)$를 근사하도록 하여 $P(z)$와 $Q(z)$가 불일치하더라도 고품질의 생성을 가능하게 한다.
• 잠재차원을 점진적으로 조정하는 방법을 사용한다: 희소성을 달성하기 위해 증가시키거나, 사용되지 않는 뉴런과 연결을 제거하여 감소시킨다.
• 밀도 있는 네트워크와 컨볼루션 네트워크 간의 실험적 비교를 통해 아키텍처의 영향을 희소성 수준에 대해 평가한다.

실험 결과

연구 질문

• RQ1 VAE에서 관찰되는 희소성가 부족한 용량의 징후인지, 아니면 유익한 자기정규화의 형태인지?
• RQ2 VAE 목표함수의 KL 발산 항이 고차원 잠재공간에서 자연스럽게 희소성을 얼마나 유도하는가?
• RQ3 희소성을 VAE의 모델 용량 조정을 위한 방법론적 가이드로 사용할 수 있는가?
• RQ4 컨볼루션 레이커와 같은 아키텍처 선택이 VAE 잠재표현의 희소성 정도에 어떤 영향을 미치는가?
• RQ5 KL 정규화 항을 제거하거나 다른 정규화 기법을 사용하면 생성 성능이 향상되는가, 아니면 모델의 강건성을 해칠까?

주요 결과

• VAE 목표함수의 KL 발산 항은 고차원 잠재공간에서 자연스럽게 희소성을 유도하며, 압축되고 강건한 표현을 만들어낸다.
• 희소성은 자기정규화 메커니즘으로 작용하여 과적합을 줄이고 모델이 가장 중요한 특징에 집중하도록 유도한다.
• 컨볼루션 VAE는 완전히 연결된 네트워크보다 덜 희소성을 보이며, 이는 잠재공간 내에서 더 강한 공간적 특징 상관관계가 있기 때문이다.
• 희소성의 정도는 결함이 아니라 모델 용량의 일치 여부를 나타내는 신호이다: 희소성이 너무 높다면 잠재차원을 늘려 성능을 향상시킬 수 있다.
• 집합 사후분포 $Q(z)$와 사전분포 $P(z)$가 불일치할 경우, 두 단계 VAE 접근법을 통해 최신 GAN 수준의 FID 점수를 기록하는 고품질 샘플을 생성할 수 있다.
• 논문은 비체계적인 정규화 기법을 반대하며, 오히려 잠재공간 희소성을 더 효과적으로 활용하기 위한 아키텍처 혁신을 지지한다.