[논문 리뷰] Kernel Stein Generative Modeling

Wei-Cheng Chang, Chunliang Li외 2명|arXiv (Cornell University)|2020. 07. 06.

Adversarial Robustness in Machine Learning참고 문헌 39인용 수 4

한 줄 요약

이 논문은 고차원 데이터에서 SVGD의 성능을 향상시키기 위해 노이즈 조건부 커널을 학습하고 엔트로피 정규화를 통합함으로써 결정론적이고 기울기 기반의 명시적 생성 모델링 방법인 노이즈 조건부 커널 스틸 변분 경사하강법(NCK-SVGD)을 제안한다. 이는 CIFAR-10에서 FID 21.95의 최고 성능을 기록하며, GAN 성능과 유사한 결과를 내면서도 샘플 품질과 다양성 간의 제어 가능한 트레이드오프를 제공한다.

ABSTRACT

We are interested in gradient-based Explicit Generative Modeling where samples can be derived from iterative gradient updates based on an estimate of the score function of the data distribution. Recent advances in Stochastic Gradient Langevin Dynamics (SGLD) demonstrates impressive results with energy-based models on high-dimensional and complex data distributions. Stein Variational Gradient Descent (SVGD) is a deterministic sampling algorithm that iteratively transports a set of particles to approximate a given distribution, based on functional gradient descent that decreases the KL divergence. SVGD has promising results on several Bayesian inference applications. However, applying SVGD on high dimensional problems is still under-explored. The goal of this work is to study high dimensional inference with SVGD. We first identify key challenges in practical kernel SVGD inference in high-dimension. We propose noise conditional kernel SVGD (NCK-SVGD), that works in tandem with the recently introduced Noise Conditional Score Network estimator. NCK is crucial for successful inference with SVGD in high dimension, as it adapts the kernel to the noise level of the score estimate. As we anneal the noise, NCK-SVGD targets the real data distribution. We then extend the annealed SVGD with an entropic regularization. We show that this offers a flexible control between sample quality and diversity, and verify it empirically by precision and recall evaluations. The NCK-SVGD produces samples comparable to GANs and annealed SGLD on computer vision benchmarks, including MNIST and CIFAR-10.

연구 동기 및 목표

• 표준 SVGD가 고차원, 다모달 분포에서 입자 집합 현상과 낮은 커버리지 문제를 겪는 데 기인한 한계를 해결하기 위해.
• 스코어 추정에서의 노이즈 수준에 맞게 커널을 적응시키는 방식으로, 이미지와 같은 복잡한 데이터에서 SVGD의 확장성과 성능을 향상시키기 위해.
• 정밀도와 재현율 메트릭을 통해 검증된 엔트로피 정규화를 통해 샘플 품질과 다양성 간의 탄력적인 제어를 가능하게 하기 위해.
• GAN과 같은 확률적 MCMC 방법인 안내된 SGLD와 유사한 경쟁력 있는 생성 성능을 명시적 생성 모델링에서 달성하기 위해.
• 적응형 커널을 갖춘 결정론적 기울기 기반 샘플링이 GAN과 같은 암묵적 모델의 샘플 품질에 도달할 수 있음을 보여주기 위해.

제안 방법

• NCK-SVGD는 노이즈 수준에 따라 커널을 적응시키기 위해 오토인코더를 활용한 노이즈 조건부 커널 학습을 적용하여 고차원에서의 안정성과 정확도를 향상시킨다.
• 노이즈 조건부 스코어 네트워크(NCSN)를 통합하여 다양한 노이즈 수준에서 스코어 함수를 추정함으로써 안내된 샘플링을 가능하게 한다.
• 노이즈 스케줄을 적용한 안내된 SVGD를 적용하여, 노이즈가 많은 분포에서 시작해 점차 노이즈를 줄이며 데이터 분포를 복원한다.
• 샘플 품질(정밀도)과 다양성(재현율) 간의 트레이드오프를 제어하기 위해 엔트로피 정규화 항을 도입하며, 이 정규화 상수 β는 조절 가능한 파ameter로 기능한다.
• KL 발산을 최소화하는 기능적 기울기 하강법을 통해 입자를 갱신하며, 노이즈 조건부 커널 함수를 사용한 커널라이제이션된 스틸 산란도를 적용한다.
• 코드 공간에서 노이즈 조건부 오토인코더를 통해 커널을 학습함으로써, 다양한 노이즈 수준 간의 공통된 시각적 특징을 포착하여 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 표준 SVGD가 모드 붕괴와 커널 적응 부족으로 인해 고차원 이미지 생성 작업(예: CIFAR-10)에서 실패하는 상황에서, SVGD가 효과적으로 확장될 수 있는가?
• RQ2 노이즈 조건부 커널 학습이 고차원 환경에서 SVGD의 성능과 안정성에 상당한 향상을 가져오는가?
• RQ3 정밀도와 재현율로 측정된 엔트로피 정규화가 SVGD에서 샘플 품질과 다양성 간의 제어 가능한 트레이드오프를 제공하는가?
• RQ4 이미지 벤치마크에서 FID 및 Inception 스코어 측면에서 NCK-SVGD는 GAN과 안내된 SGLD와 같은 최고 수준의 모델과 비교해 어떻게 성능을 내는가?
• RQ5 노이즈 안내와 적응형 커널의 조합이 확률적 샘플링이나 적대적 훈련에 의존하지 않고도 결정론적이고 고품질의 이미지 생성을 가능하게 하는가?

주요 결과

• NCK-SVGD는 명시적 생성 모델 중에서 CIFAR-10에서 FID 점수 21.95를 기록하며 새로운 SOTA 성능을 달성했으며, 안내된 SGLD(25.32) 및 기타 EGMs를 압도적으로 뛰어넘었다.
• GAN 기반 모델과 유사한 수준의 샘플 품질을 제공하여, CIFAR-10에서 Inception 스코어 8.20을 기록했으며, SN-GAN과 같은 최고 성능 모델과 동등한 성능을 보였다.
• 정밀도-재현율 곡선 분석 결과, NCK-SVGD는 높은 재현율 영역에서 A-SGLD를 크게 능가하여 데이터 다양성과 다각도의 커버리지가 뛰어나다는 것을 확인했다.
• 엔트로피 정규화 덕분에 샘플 다양성에 대한 탄력적인 제어가 가능하며, 높은 β 값은 다양성을 증가시키면서도 고품질의 샘플을 유지한다.
• A-SGLD 샘플의 50%를 초기화로 사용했을 때, NCK-SVGD는 A-SGLD보다 더 높은 재현율을 기록하여 노이즈 조건부 커널과 정규화의 우수성을 입증했다.
• 중간 단계의 샘플들은 노이즈가 많은 초기 입자에서 고해상도 이미지로 점진적이고 부드러운 개선 과정을 보이며, 안내 및 커널 적응 과정의 효과성을 확인했다.