[논문 리뷰] Gaussian-Bernoulli RBMs Without Tears

Renjie Liao, Simon Kornblith외 3명|arXiv (Cornell University)|2022. 10. 19.

Generative Adversarial Networks and Image Synthesis인용 수 8

한 줄 요약

이 논문은 큰 학습률을 사용할 때도 안정적이고 고품질의 이미지 생성이 가능한 새로운 기이브스-랑제비안 샘플링 알고리즘과 수정된 대비 기울기(contrastive divergence, CD) 방법을 제안한다. 이는 가우시안-베르누이 RBM(Gaussian-Bernoulli RBMs, GRBMs)를 기반으로 하며, MNIST, FashionMNIST, CelebA에서 최신 기준(FID 점수)을 달성한다. 이는 단일 레이어의 GRBMs가 복잡한 기법이나 히우리스틱 기법 없이도 현실적인 이미지를 생성할 수 있음을 보여준다.

ABSTRACT

We revisit the challenging problem of training Gaussian-Bernoulli restricted Boltzmann machines (GRBMs), introducing two innovations. We propose a novel Gibbs-Langevin sampling algorithm that outperforms existing methods like Gibbs sampling. We propose a modified contrastive divergence (CD) algorithm so that one can generate images with GRBMs starting from noise. This enables direct comparison of GRBMs with deep generative models, improving evaluation protocols in the RBM literature. Moreover, we show that modified CD and gradient clipping are enough to robustly train GRBMs with large learning rates, thus removing the necessity of various tricks in the literature. Experiments on Gaussian Mixtures, MNIST, FashionMNIST, and CelebA show GRBMs can generate good samples, despite their single-hidden-layer architecture. Our code is released at: \url{https://github.com/lrjconan/GRBM}.

연구 동기 및 목표

• 이미지 데이터에 대해 GRBMs를 효과적으로 훈련시키는 데 오랫동안 지속된 과제를 해결하라. 이전 방법들은 안정성 부족과 낮은 샘플 품질로 어려움을 겪었다.
• 기본 기이브스 샘플링과 대비 기울기(CD)의 한계를 극복하라. 이는 일반적으로 노이즈가 많은 기울기와 수렴 불량을 초래한다.
• CD를 수정하여 노이즈에서부터 샘플링이 가능하게 하여 GRBMs에서 무조건적 이미지 생성을 가능하게 하며, 딥 생성 모델과의 직접적인 비교를 가능하게 한다.
• 기울기 클리핑과 수정된 CD가 안정적인 훈련을 가능하게 하여, 적응형 학습률이나 병렬 온도 조절과 같은 부호적 기법에 의존할 필요 없이 충분하다는 것을 보여라.
• 단일 은닉층을 가진 GRBMs가 다양한 데이터셋에서 고품질의 샘플을 생성할 수 있음을 보여주며, 이는 그들의 능력이 제한되어 있다는 기존의 가정에 도전한다.

제안 방법

• 기이브스와 랑제비안 단계를 조합한 하이브리드 기이브스-랑제비안 샘플링 알고리즘을 제안하여, 표준 기이브스 샘플링보다 혼합성과 기울기 추정 성능을 향상시킨다.
• 데이터에서 시작하는 대신 노이즈에서 시작하도록 양의 단계를 조정하여, 노이즈에서부터 데이터 생성이 가능한 수정된 CD 알고리즘을 도입한다.
• 큰 학습률을 사용할 때도 안정적인 훈련을 가능하게 하기 위해 기울기 클리핑을 적용하며, 적응형 학습률이나 병렬 온도 조절과 같은 히우리스틱 기법이 필요 없어진다.
• 각 가시 단위별로 개별적인 분산 매개변수를 학습한다(예: MNIST에서 약 ~1e-5), 고정되거나 공유되는 분산보다 재구성 및 샘플의 선명도가 향상된다.
• 제안된 샘플링 방법을 통해 로그우도 기울기의 몬테카를로 추정을 실시하며, 복잡한 데이터 분포를 포착하기 위해 에너지 기반 모델링을 사용한다.
• 랑제비안 단계에서 메트로폴리스 조정을 구현하여 수락률을 향상시켰지만, 복잡한 이미지 데이터에서는 성능이 약간 저하되는 것으로 나타났다.

실험 결과

연구 질문

• RQ1 하이브리드 기이브스-랑제비안 샘플링 방법이 이미지 생성을 위한 GRBM 훈련에서 표준 기이브스 샘플링보다 우수한 성능을 낼 수 있는가?
• RQ2 수정된 CD 알고리즘이 노이즈에서부터 시작하여 GRBM에서 무조건적 이미지 생성을 가능하게 하여 딥 생성 모델과의 공정한 비교를 가능하게 할 수 있는가?
• RQ3 기울기 클리핑만으로도 큰 학습률을 사용한 GRBM 훈련이 안정적으로 가능해지며, 다른 히우리스틱 기법이 필요 없어지는가?
• RQ4 단일 은닉층을 가진 GRBMs가 복잡한 데이터셋인 CelebA에서 고품질의 이미지를 생성할 수 있는가, 그들의 구조적 단순성에도 불구하고?
• RQ5 GRBM에서 학습된 분산과 필터는 다른 모델의 것과 비교해 어떻게 다를 수 있으며, 의미 있는 특징 표현을 반영하는가?

주요 결과

• 메트로폴리스 조정 없이 기이브스-랑제비안 샘플링을 사용한 경우, MNIST에서 FID 점수 17.49를 기록하여 표준 기이브스(47.53)와 랑제비안 변형보다 뛰어난 성능을 보였다.
• FashionMNIST에서는 옷의 형태가 일관되게 생성되었지만, 모델의 제한된 인덕티브 바이어스로 인해 세밀한 질감은 포착하지 못했다.
• CelebA-32 및 CelebA-2K-64에서 GRBMs는 합리적으로 현실적인 얼굴 이미지를 생성하여 더 복잡하고 다양한 데이터 분포로의 일반화 능력을 보였다.
• 학습된 분산은 MNIST에서 약 1e-5로 수렴하였으며, 이는 이전 방법보다 훨씬 낮은 수준이었으며, 더 선명한 샘플 생성에 기여했다.
• 학습된 필터는 점 형태와 선 형태의 패턴을 모두 포함하여, GRBMs가 데이터로부터 의미 있고 구조적인 특징을 학습하고 있음을 시사했다.
• 기울기 클리핑과 함께 수정된 CD는 큰 학습률에서도 안정적인 훈련을 가능하게 하여, 특수한 초모수 튜닝 없이도 강건하고 실용적인 방법이 되었다.