[논문 리뷰] Improving Adversarial Energy-Based Model via Diffusion Process

Cong Geng, Tian Han외 5명|arXiv (Cornell University)|2024. 03. 04.

Adversarial Robustness in Machine Learning인용 수 2

한 줄 요약

이 논문은 다단계 노이즈 제거 단계로 구성된 생성 과정을 분해함으로써 학습 안정성과 생성 품질을 향상시키는 확산 기반 적대적 에너지 기반 모델인 DDAEBM을 제안한다. 각 노이즈 단계에서 대칭 제퍼리 분리도와 변분 사후 분포를 사용하여 조건부 에너지 기반 모델을 학습함으로써, CIFAR-10/SVHN 이상치 탐지에서 최신 기준인 FID(4.82)와 AUROC(0.83)를 달성하면서도 MCMC를 사용하지 않는 학습과 샘플링을 가능하게 한다.

ABSTRACT

Generative models have shown strong generation ability while efficient likelihood estimation is less explored. Energy-based models~(EBMs) define a flexible energy function to parameterize unnormalized densities efficiently but are notorious for being difficult to train. Adversarial EBMs introduce a generator to form a minimax training game to avoid expensive MCMC sampling used in traditional EBMs, but a noticeable gap between adversarial EBMs and other strong generative models still exists. Inspired by diffusion-based models, we embedded EBMs into each denoising step to split a long-generated process into several smaller steps. Besides, we employ a symmetric Jeffrey divergence and introduce a variational posterior distribution for the generator's training to address the main challenges that exist in adversarial EBMs. Our experiments show significant improvement in generation compared to existing adversarial EBMs, while also providing a useful energy function for efficient density estimation.

연구 동기 및 목표

• 비대칭 KL 분리도와 추정이 어려운 엔트로피 항으로 인해 발생하는 적대적 에너지 기반 모델(EBMs)의 학습 불안정성과 분포 피팅 부족 문제를 해결한다.
• 학습 및 추론 과정에서 MCMC 샘플링을 제거하여 MCMC 기반 EBM 학습의 높은 계산 비용과 불안정성을 극복한다.
• 다중 시간 단계를 가진 노이즈 제거 확산 프레임워크에 적대적 EBMs를 통합하여 샘플 품질 향상과 밀도 추정 향상을 도모한다.
• 모수적 에너지 분포가 아닌 조건부 노이즈 제거 분포를 학습함으로써 효율적이고 안정적인 학습을 가능하게 한다.
• 이상치 탐지 및 준지도 학습과 같은 후속 작업에 유용한 에너지 함수를 제공한다.

제안 방법

• 적대적 EBMs를 노이즈 제거 확산 과정에 통합하여, 각 노이즈 단계에서 조건부 노이즈 제거 분포를 모델링하는 에너지 기반 모델의 시퀀스를 학습한다.
• 잠재 변수 z를 사용하여 생성된 노이즈 제거 분포를 정의함으로써 빠른 샘플링과 향상된 학습 동역학을 가능하게 한다.
• 생성자 학습에 대칭 제퍼리 분리도를 사용하여 비대칭 KL 분리도보다 더 나은 분포 매칭을 달성한다.
• 생성자 목표 함수의 엔트로피 항을 효율적으로 추정하기 위해 변분 사후 분포 qψ(z|xt−1, xt)를 도입한다.
• 생성자와 에너지 함수 사이의 최소-최대 게임을 통해 MCMC 샘플링을 완전히 회피한다.
• 복잡한 다모달 데이터 분포를 더 단순하고 다룰 수 있는 조건부 학습 문제로 분해하기 위해 다단계 노이즈 제거 과정을 사용한다.

실험 결과

연구 질문

• RQ1 기존의 적대적 EBMs와 비교해 확산 과정에 적대적 EBMs를 통합함으로써 학습 안정성과 생성 품질을 향상시킬 수 있는가?
• RQ2 KL 분리도 대신 대칭 제퍼리 분리도를 사용할 경우 더 나은 분포 매칭과 향상된 샘플 품질을 달성할 수 있는가?
• RQ3 변분 사후 분포가 적대적 EBM 학습에서 추정이 어려운 엔트로피 항을 효과적으로 추정할 수 있는가?
• RQ4 노이즈 제거 단계 수(T)가 학습 안정성과 생성 성능에 미치는 영향은 어떠한가?
• RQ5 제안된 모델가 MCMC를 사용하지 않는 효율적인 학습 과정을 유지하면서도 생성과 이상치 탐지 모두에서 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• 제안된 DDAEBM은 CIFAR-10에서 Fréchet Inception Distance(FID)가 4.82로 기존의 적대적 EBMs를 크게 능가하며 최신 기준 모델과 동등한 성능을 달성한다.
• CIFAR-10을 내재 분포로, SVHN을 이상치 분포로 사용한 이상치 탐지 작업에서 AUROC가 0.83을 기록하여 뛰어난 에너지 함수 품질을 입증한다.
• 절단 실험 결과, 잠재 변수 z를 제거하거나 KL 분리도를 대칭 제퍼리 분리도로 대체할 경우 FID가 10.09로 급격히 증가하고 AUROC가 0.23으로 급격히 하락함으로써 이 요소들이 핵심적 역할을 한다는 것을 입증한다.
• log qψ(z|xt−1, xt) 항을 제거할 경우 KL 기반 학습과 유사한 성능을 보이며, 이는 변분 사후 분포가 정확한 에너지 함수 학습에 필수적임을 시사한다.
• 최적의 노이즈 제거 단계 수 T는 4로, T=4일 때 안정적인 학습과 최고의 성능가 달성하지만, 더 큰 T 값은 안정적인 학습을 유지하더라도 생성 품질을 떨어뜨린다.
• 모델는 MCMC를 사용하지 않는 학습과 샘플링을 가능하게 하여 기존의 MCMC 기반 EBMs와 달리 빠른 추론과 안정된 최적화를 달성한다.