[논문 리뷰] Variational Information Bottleneck on Vector Quantized Autoencoders

Hanwei Wu, Markus Flierl|arXiv (Cornell University)|2018. 08. 02.

Generative Adversarial Networks and Image Synthesis참고 문헌 5인용 수 4

한 줄 요약

이 논문은 벡터 양자화 변동형 오토인코더(VQ-VAEs)와 정보 봉쇄 원리 사이의 이론적 연결을 수립한다. 기존 VQ-VAE 손실 함수는 변동형 결정적 정보 봉쇄(VDIB)에서 유도되며, EM으로 학습된 VQ-VAE는 변동형 정보 봉쇄(VIB)를 근사한다. 이는 조건부 엔트로피 증가로 인해 잠재 표현의 퍼플렉서티가 향상됨을 의미한다.

ABSTRACT

In this paper, we provide an information-theoretic interpretation of the Vector Quantized-Variational Autoencoder (VQ-VAE). We show that the loss function of the original VQ-VAE can be derived from the variational deterministic information bottleneck (VDIB) principle. On the other hand, the VQ-VAE trained by the Expectation Maximization (EM) algorithm can be viewed as an approximation to the variational information bottleneck(VIB) principle.

연구 동기 및 목표

• VQ-VAE 학습 목표의 정보 이론적 해석을 제공하는 것.
• VQ-VAE와 변동형 정보 봉쇄(VIB) 및 변동형 결정적 정보 봉쇄(VDIB) 원리 사이의 이론적 관계를 명확히 하는 것.
• EM 기반 VQ-VAE 학습이 조건부 엔트로피 증가를 통해 잠재 표현 품질을 향상시키는 이유를 설명하는 것.
• VQ-VAE 손실 함수와 정보 이론적 압축 목표 사이의 관계를 체계화하는 것.

제안 방법

• 변동형 분포 r(z)를 사용하여 엔트로피 H(Z)를 상한으로 제한함으로써 VDIB 손실 함수를 유도하며, 이는 교차 엔트로피 정규화 항을 생성한다.
• 변동형 근사치를 사용하여 KL 발산 항 I(I,Z)를 상한으로 제한함으로써 VIB 손실 함수를 유도하며, 이는 사후분포 p(Z|I)에 대한 KL 정규화를 유도한다.
• VQ-VAE의 재구성 및 기여 손실을 VDIB 目적에 매핑하며, 재구성 항은 왜곡에 해당하고 기여 손실은 교차 엔트로피 정규화에 해당한다.
• 정지 기울기 연산자를 사용하여 인코더와 양자화기 간의 분리 구조를 만들며, 백프로파게이션은 오직 디코더를 통해만 수행되게 하여 VDIB 학습 목표와 일치시킨다.
• EM 알고리즘을 사용하여 VQ-VAE 봉쇄부에 소프트 클러스터링을 적용함으로써 조건부 엔트로피 H(p(Z|I))를 증가시키고, VIB 목표를 근사한다.
• 원래 VQ-VAE는 우선분포 r(z)가 균일할 경우 VDIB와 동일하며, EM으로 학습된 VQ-VAE는 소프트 할당으로 인해 비균일한 p(Z|I)를 가지며 VIB를 근사한다.

실험 결과

연구 질문

• RQ1 기존 VQ-VAE 손실 함수는 알려진 정보 이론 원리로부터 유도될 수 있는가?
• RQ2 EM 기반 VQ-VAE 학습은 변동형 정보 봉쇄(VIB) 원리와 어떻게 관련이 있는가?
• RQ3 왜 EM 기반 VQ-VAE는 표준 VQ-VAE보다 더 높은 잠재 퍼플렉서티를 달성하는가?
• RQ4 조건부 엔트로피 H(p(Z|I))는 표현 품질 향상에 어떤 역할을 하는가?
• RQ5 VDIB와 VIB 원리의 이산 오토인코더에 대한 적용에서의 비교는 어떠한가?

주요 결과

• 기존 VQ-VAE 손실 함수는 우선분포 r(z)가 균일할 경우 변동형 결정적 정보 봉쇄(VDIB) 목표와 동일하다.
• EM으로 학습된 VQ-VAE는 소프트 할당을 명시적으로 모델링함으로써 변동형 정보 봉쇄(VIB) 원리를 근사하며, 조건부 엔트로피 H(p(Z|I))를 증가시킨다.
• EM으로 학습된 VQ-VAE의 소프트 클러스터링은 잠재 표현의 퍼플렉서티를 증가시키며, 이는 이전 연구의 경험적 결과로도 확인되었다.
• VQ-VAE의 기여 손실은 인코더가 코드북에 기여하도록 강제하며, 이는 VDIB에서 교차 엔트로피 항을 최소화하는 것과 대응된다.
• VQ-VAE의 재구성 항은 VIB와 VDIB 양쪽 모두에서 왜곡 항에 해당하며, 진짜 데이터 분포와 재구성된 데이터 분포 간의 KL 발산을 최소화한다.
• VQ-VAE에서 정지 기울기의 사용은 오직 양자화된 코드를 통해 디코더만 학습되도록 하며, 이는 VDIB 학습 절차와 일치한다.