[논문 리뷰] Kernel Implicit Variational Inference

Jiaxin Shi, Shengyang Sun외 1명|arXiv (Cornell University)|2017. 05. 29.

Gaussian Processes and Bayesian Inference참고 문헌 36인용 수 7

한 줄 요약

Kernel Implicit Variational Inference (KIVI)는 밀도가 해석적으로 구할 수 없는 변분 사후분포의 안정적이고 계산 가능하게 학습을 가능하게 하는 커널 기반 밀도 비율 추정을 사용하는 새로운 암묵적 변분 추론 방법이다. 이는 BNN과 VAE와 같은 고차원 모델에 성공적으로 적용되어 더 탴튼 경계와 감소한 과적합을 가능하게 하며, MNIST 및 CelebA에서 BNN과 VAE에 대해 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recent progress in variational inference has paid much attention to the flexibility of variational posteriors. One promising direction is to use implicit distributions, i.e., distributions without tractable densities as the variational posterior. However, existing methods on implicit posteriors still face challenges of noisy estimation and computational infeasibility when applied to models with high-dimensional latent variables. In this paper, we present a new approach named Kernel Implicit Variational Inference that addresses these challenges. As far as we know, for the first time implicit variational inference is successfully applied to Bayesian neural networks, which shows promising results on both regression and classification tasks.

연구 동기 및 목표

• 고차원 모델, 예를 들어 베이지안 신경망(BNNs)에 적용될 때 기존의 암묵적 변분 추론(IVI) 방법의 불안정성과 계산 비용 문제를 해결하기 위해.
• 노이즈가 많은 판별기 기반 추정기 의존을 피하면서도 암묵적 VI에서 편향-분산 트레이드오프를 체계적으로 조정할 수 있는 방법을 개발하기 위해.
• 비가역 변환을 활용한 다재다능한 변분 사후분포를 가능하게 하여, 인수분해 또는 노멀라이징 플로우 기반 접근을 초월한 변분 가족의 표현력 확장을 위해.
• 글로벌(BNNs) 및 로컬(VAEs) 잠재변수 모델 모두에서 암묵적 VI의 실현 가능성과 효능을 입증하기 위해, 특히 과적합 감소와 우도 추정 향상에 초점하여.

제안 방법

• KIVI는 판별기 기반 밀도 비율 추정을 커널 기반의 밀도 비율 추정 $ \frac{q_\phi(\mathbf{z})}{p(\mathbf{z})} $로 대체하여 더 안정적이고 분석적으로 타당한 근사치를 제공한다.
• 변분 사후분포 $ q_\phi(\mathbf{z}) $와 사전분포 $ p(\mathbf{z}) $ 간의 KL 발산을 커널 기반 추정기로 추정함으로써 명시적 밀도 평가가 필요 없도록 한다.
• 재생 커널 힐버트 공간(RKHS) 프레임워크를 활용해 기능 최적화 문제로 변분 목표를 재구성함으로써, 해석 가능한 밀도가 필요 없이 기울기 기반 최적화를 가능하게 한다.
• 편향-분산 제어를 위한 두 개의 하이퍼파rameter—$ \lambda $와 수치 안정성 확보를 위한 클리핑 값—을 도입하였으며, 이는 모두 명확한 해석 가능성을 지닌다.
• KIVI는 글로벌 및 로컬 잠재변수 모델 모두와 호환되어 BNN과 VAE 등 고차원 잠재공간을 가진 모델에 적용 가능하다.
• 별도의 판별기 네트워크 학습이 필요 없어져 계산 비용이 감소하고, GAN 기반 암묵적 VI에서 흔히 발생하는 하이퍼파rameter 민감도 문제를 제거한다.

실험 결과

연구 질문

• RQ1 베이지안 신경망과 같은 고차원 모델에 대해 암묵적 변분 추론이 안정적이고 확장 가능하게 개선될 수 있는가?
• RQ2 특히 편향-분산 제어 측면에서, 판별기 기반 방법에 비해 커널 기반 밀도 비율 추정기가 암묵적 VI에서 더 신뢰할 수 있는 대안을 제공하는가?
• RQ3 비가역 변환을 통해 구성된 암묵적 사후분포가 일반화 성능 및 우도 추정 측면에서 표준 평균장 또는 노멀라이징 플로우 기반 사후분포를 초월할 수 있는가?
• RQ4 암묵적 VI는 표준 VAE에 비해 변분 오토인코더에서 과적합을 어느 정도 감소시키는가?
• RQ5 CelebA와 같은 대규모 데이터셋에서, 암묵적 VI는 악성 변분 베이즈(AVB)에 비해 학습 안정성, 샘플 품질, FID 점수 측면에서 어떻게 비교되는가?

주요 결과

• KIVI는 BNN에 대해 처음으로 암묵적 변분 추론을 성공적으로 적용하여 회귀 및 분류 과제에서 뛰어난 성능을 달성하였다.
• 이진화된 MNIST 데이터셋에서 KIVI는 훈련 및 테스트 하한 간 일반화 갭을 감소시켜, 표준 VAE의 -97.3에 비해 테스트 로그우도를 -94.8로 향상시켰다.
• CelebA에서 KIVI는 25 에포크 후 41의 Fréchet Inception Distance(FID) 점수를 기록하여, 동일한 아키텍처와 학습 설정에서 AVB의 FID 160을 크게 상회하였다.
• CelebA에서의 보간 실험 결과, KIVI는 AVB보다 더 매끄럽고 선명한 이미지 전이를 생성하여 더 분리되고 구조적인 잠재공간을 가지는 것으로 나타났다.
• AVB와 달리 KIVI는 판별기의 하이퍼파ram터 튜닝이 필요 없었으며, 특히 판별기에 로그사전분포를 수동으로 추가하고 철저한 아키텍처 설계가 필요로 하는 점에서 유리했다.
• 이 방법은 이전의 GAN 기반 암묵적 VI 접근 방식의 핵심 제약 사항이었던 고차원 잠재변수에 대한 계산 가능성을 확보하였다.