[논문 리뷰] Guiding Energy-based Models via Contrastive Latent Variables

Hankook Lee, Jongheon Jeong외 2명|arXiv (Cornell University)|2023. 03. 06.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 에너지 기반 모델(EBM)의 훈련을 유도하기 위해 대조적 표현 학습(CRL)을 잠재 변수로 사용하는 프레임워크인 대비 잠재 유도 에너지 학습(CLEL)을 제안한다. 구면 잠재변수 EBM와 대조적 인코더를 함께 훈련시킴으로써 CLEL은 기존 EBM 방법들(예: VAE 또는 확산 모델을 사용하는 방법 포함)보다 더 빠르고 메모리 효율적인 훈련을 통해 최신 기술 수준의 FID 점수를 달성한다.

ABSTRACT

An energy-based model (EBM) is a popular generative framework that offers both explicit density and architectural flexibility, but training them is difficult since it is often unstable and time-consuming. In recent years, various training techniques have been developed, e.g., better divergence measures or stabilization in MCMC sampling, but there often exists a large gap between EBMs and other generative frameworks like GANs in terms of generation quality. In this paper, we propose a novel and effective framework for improving EBMs via contrastive representation learning (CRL). To be specific, we consider representations learned by contrastive methods as the true underlying latent variable. This contrastive latent variable could guide EBMs to understand the data structure better, so it can improve and accelerate EBM training significantly. To enable the joint training of EBM and CRL, we also design a new class of latent-variable EBMs for learning the joint density of data and the contrastive latent variable. Our experimental results demonstrate that our scheme achieves lower FID scores, compared to prior-art EBM methods (e.g., additionally using variational autoencoders or diffusion techniques), even with significantly faster and more memory-efficient training. We also show conditional and compositional generation abilities of our latent-variable EBMs as their additional benefits, even without explicit conditional training. The code is available at https://github.com/hankook/CLEL.

연구 동기 및 목표

• 에너지 기반 모델(EBM)에서 오랫동안 지속된 훈련 불안정성과 느린 수렴 문제를 해결한다.
• EBM의 생성 품질을 GAN 및 확산 모델과 같은 최신 기술 수준의 생성 모델에 가깝게 향상시킨다.
• 대조적 학습(CRL)에서 유도하는 저비용의 자기지도 학습 표현을 활용하여 추가적인 생성 모델이 필요 없이 EBM 훈련을 유도한다.
• EBM와 대조적 인코더의 효율적이고 공동 훈련을 가능하게 하되, EBM의 명시적 밀도 성질을 유지한다.
• 대조적 표현이 EBMs에서 구조적 데이터 모델링을 위한 효과적인 잠재 변수가 될 수 있음을 보여준다.

제안 방법

• 대조적 표현 $ \mathbf{z} $를 사용하는 구면 잠재변수 EBM를 도입하여 연합 분포 $ p_{\theta}(\mathbf{x}, \mathbf{z}) $ 를 모델링한다.
• SimCLR와 같은 인스턴스 수준의 대조적 학습을 사용하여 의미적이고 정규화된 잠재 코드 $ \mathbf{z} \in \mathbb{S}^{d-1} $ 를 생성하는 대조적 인코더 $ h_{\phi} $ 를 훈련한다.
• 정지 기울기 연산을 사용하여 대조적 학습 목표를 EBM 훈련에서 분리함으로써 공동 최적화를 가능하게 한다.
• EBM 훈련과 대조적 학습을 통합한 공동 훈련 목표를 설계하여, 대조적 손실이 EBM가 더 나은 데이터 구조 이해를 향해 유도하도록 한다.
• EBM 에너지 출력을 대조적 학습과 호환되는 잠재 공간으로 매핑하기 위해 투영 헤드 $ g_{\theta} $ 를 도입한다.
• 잠재 변수 $ \mathbf{z} $ 가 단위 구면에 정규화되어 있어 표준 CRL 목표와 일치하고 훈련 안정성이 향상되도록 보장한다.

실험 결과

연구 질문

• RQ1 대조적 표현 학습이 EBM 훈련을 유도하는 효과적인 잠재 변수로 기능할 수 있는가?
• RQ2 기본 EBM 훈련과 비교해 대조적 특징을 사용할 경우 EBM의 샘플 품질과 훈련 효율성이 향상되는가?
• RQ3 VAE나 확산 모델과 같은 비용이 많이 드는 보조 모델에 의존하지 않고도 제안된 프레임워크가 경쟁 가능한 FID 점수를 달성할 수 있는가?
• RQ4 프레임워크가 인코더에 대해 다양한 대조적 학습 방법(SimCLR, BYOL, MAE 등)에 대해 얼마나 강건한가?
• RQ5 명시적 조건부 훈련 없이도 학습된 잠재변수 EBM이 조건부 및 복합 생성을 어느 정도 수행할 수 있는가?

주요 결과

• CLEL은 CIFAR-10에서 FID 점수 35.73을 기록하여 기준 EBM(42.46) 및 이전 최신 기술 수준의 EBM 방법보다 뚜렷이 뛰어나다.
• 기준 EBM 대비 FID를 16.4% 감소시켰으며, VAE나 확산 모델로 향상된 EBM 방법보다도 더 뛰어난 성능을 달성했다.
• 이 프레임워크는 BYOL(FID: 36.31) 및 MAE(FID: 37.67)를 포함한 여러 자기지도 표현 학습 방법과 호환되어 광범위한 적용 가능성을 보였다.
• 대조적 잠재 변수는 명시적 조건부 훈련 없이도 제로샷 조건부 및 복합 생성을 가능하게 하여 분리된 표현 학습을 입증했다.
• 모델는 높은 OOD 탐지 성능(AUC: 0.8723)을 기록하여 학습된 EBM가 의미 있는 데이터 분포와 불확실성을 잘 포착하고 있음을 시사한다.
• 절단 실험 결과에서 MLP 투영 헤드와 부정 샘플링 분포 $ p_{\theta}(\tilde{\mathbf{z}}) $ 가 성능 향상에 핵심적임을 확인하였으며, 정체성 헤드는 성능을 심각하게 떨어뜨렸다(FID: 86.02).