[논문 리뷰] Information bottleneck through variational glasses

Slava Voloshynovskiy, Mouad Kondah외 4명|arXiv (Cornell University)|2019. 12. 02.

Computer Graphics and Visualization Techniques참고 문헌 23인용 수 22

한 줄 요약

이 논문은 정보 버블러(Information Bottleneck, IB) 프레임워크 내에서 상호정보량의 변분 분해를 제안하며, 감독형, 비감독형, 적대형 생성 모델을 동일한 이론적 구조 아래 통합한다. VAE 및 관련 모델을 IB 항목의 직접적 분해를 통해 재해석함으로써, $\beta$-VAE, InfoVAE, VAE/GAN 등의 방법과의 새로운 연결 고리를 드러내며, 생성 압축 및 이상 탐지에 대한 개선된 해석 가능성과 원리적인 기반을 제공한다.

ABSTRACT

Information bottleneck (IB) principle [1] has become an important element in information-theoretic analysis of deep models. Many state-of-the-art generative models of both Variational Autoencoder (VAE) [2; 3] and Generative Adversarial Networks (GAN) [4] families use various bounds on mutual information terms to introduce certain regularization constraints [5; 6; 7; 8; 9; 10]. Accordingly, the main difference between these models consists in add regularization constraints and targeted objectives. In this work, we will consider the IB framework for three classes of models that include supervised, unsupervised and adversarial generative models. We will apply a variational decomposition leading a common structure and allowing easily establish connections between these models and analyze underlying assumptions. Based on these results, we focus our analysis on unsupervised setup and reconsider the VAE family. In particular, we present a new interpretation of VAE family based on the IB framework using a direct decomposition of mutual information terms and show some interesting connections to existing methods such as VAE [2; 3], beta-VAE [11], AAE [12], InfoVAE [5] and VAE/GAN [13]. Instead of adding regularization constraints to an evidence lower bound (ELBO) [2; 3], which itself is a lower bound, we show that many known methods can be considered as a product of variational decomposition of mutual information terms in the IB framework. The proposed decomposition might also contribute to the interpretability of generative models of both VAE and GAN families and create a new insights to a generative compression [14; 15; 16; 17]. It can also be of interest for the analysis of novelty detection based on one-class classifiers [18] with the IB based discriminators.

연구 동기 및 목표

• 감독형, 비감독형, 적대형 생성 모델을 동일한 정보 버블러(IB) 프레임워크 아래 통합하기 위해.
• VAE, GAN 및 관련 모델 간의 구조적 유사성을 드러내는 상호정보량 항목의 변분 분해를 제공하기 위해.
• ELBO의 정규화를 통해가 아니라 IB 목표의 직접적 분해를 통해 VAE 계열을 재해석하기 위해.
• 통합된 변분 경계를 사용하여 IB, VAE, $\beta$-VAE, AAE, InfoVAE, VAE/GAN 간의 연결 고리를 설정하기 위해.
• 생성 압축 및 일종의 이상 탐지와 같은 응용 분야를 위한 개선된 해석 가능성과 지원을 가능하게 하기 위해.

제안 방법

• 정보 버블러 프레임워크 내에서 상호정보량 $I({\bf Z};{\bf C})$ 의 변분 분해를 제안하며, 진정한 조건부 분포 $p({\bf c}|{\bf z})$ 를 근사하기 위해 변분 분포 $p_{\boldsymbol{\theta}}({\bf c}|{\bf z})$ 를 사용한다.
• 변분 분류기 $p_{\boldsymbol{\theta}}({\bf c}|{\bf z})$ 를 도입하고 KL 발산을 하한으로 사용하여 하한 $I^{\text{S}}_{\boldsymbol{\theta},\boldsymbol{\theta}}({\bf Z};{\bf C}) = H({\bf C}) - H_{\boldsymbol{\theta},\boldsymbol{\theta}}({\bf C}|{\bf Z})$ 을 유도한다.
• 비감독형 모델에 분해를 적용하기 위해 $I({\bf Z};{\bf X})$ 를 $I({\bf Z};{\bf X}) = H({\bf X}) - H_{\boldsymbol{\theta},\boldsymbol{\theta}}({\bf X}|{\bf Z})$ 로 표현함으로써 변분 오토에코딩 해석을 가능하게 한다.
• 변분 분해를 활용해 기존 모델들인 VAE, $\beta$-VAE, AAE, InfoVAE, VAE/GAN 을 동일한 IB 기반 프레임워크의 특수한 경우로 재구성한다.
• ELBO의 직접적 정규화를 피하고 상호정보량 분해에 중점을 두는 새로운 목표를 제안한다.
• 변분 하한을 활용해 모든 모델 유형에서 미분 가능 학습과 종단 간 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 정보 버블러 원리가 감독형, 비감독형, 적대형 생성 모델을 체계적으로 통합하는 데 어떻게 적용될 수 있는가?
• RQ2 변분 분해가 VAE, GAN 및 관련 모델 간의 구조적 동일성을 드러내는 데 어떤 역할을 하는가?
• RQ3 IB 프레임워크 내의 상호정보량 항목이 ELBO 정규화의 더 해석 가능하고 원리적인 대안을 제공할 수 있도록 분해될 수 있는가?
• RQ4 기존 방법들인 $\beta$-VAE 및 InfoVAE 가 이 통합된 IB 기반 변분 분해에서 자연스럽게 어떻게 유도되는가?
• RQ5 이 프레임워크가 생성 압축 및 일종의 이상 탐지에 미치는 영향은 무엇인가?

주요 결과

• 제안된 변분 분해는 정보 버블러 원리를 통해 감독형, 비감독형, 적대형 모델을 통합하는 통합된 이론적 프레임워크를 제공한다.
• 이 방법은 ELBO 정규화를 통한 해석이 아니라 IB 프레임워크 내 상호정보량 분해의 사례로 VAE 및 관련 모델을 재해석한다.
• 하한 $I^{\text{S}}_{\boldsymbol{\theta},\boldsymbol{\theta}}({\bf Z};{\bf C})$ 는 $p({\bf c}|{\bf z})$ 의 변분 근사에 의해 도출되며, KL 발산 항목이 타당한 하한을 보장한다.
• 이 프레임워크는 기존의 모델들을 자연스럽게 복원한다: $\beta$-VAE, AAE, InfoVAE, VAE/GAN 은 제안된 IB 기반 변분 분해의 특수한 경우로 나타난다.
• 이 접근법은 생성 모델의 해석 가능성 향상과 IB 기반 분류기 활용을 통한 생성 압축 및 일종의 이상 탐지 응용 지원을 가능하게 한다.
• 분석을 통해 IB 프레임워크 내 상호정보량 최소화가 ELBO의 직접적 정규화 없이도 변분 분해를 통해 달성될 수 있음을 입증한다.