[논문 리뷰] Explaining the effects of non-convergent sampling in the training of Energy-Based Models

Elisabeth Agoritsas, Giovanni Catania외 2명|arXiv (Cornell University)|2023. 01. 23.

Generative Adversarial Networks and Image Synthesis참고 문헌 48인용 수 6

한 줄 요약

이 논문은 비수렴, 단기 마르코프 체인 몬테카를로(MCMC) 샘플링을 사용해 훈련된 에너지 기반 모델(EBM)이 여전히 고품질의 샘플을 생성할 수 있는 이유에 대해 원리적인 분석적 설명을 제공한다. 이는 이러한 EBM이 훈련 과정의 동적 기억을 인코딩하며, 생성 과정에서 훈련 시 사용된 동일한 MCMC 스텝 수와 무작위 초기화를 그대로 재현할 때 최적의 샘플 품질이 도출된다는 것을 보여준다. 이는 EBM을 마치 확산 모델처럼 작동시키는 것이다.

ABSTRACT

In this paper, we quantify the impact of using non-convergent Markov chains to train Energy-Based models (EBMs). In particular, we show analytically that EBMs trained with non-persistent short runs to estimate the gradient can perfectly reproduce a set of empirical statistics of the data, not at the level of the equilibrium measure, but through a precise dynamical process. Our results provide a first-principles explanation for the observations of recent works proposing the strategy of using short runs starting from random initial conditions as an efficient way to generate high-quality samples in EBMs, and lay the groundwork for using EBMs as diffusion models. After explaining this effect in generic EBMs, we analyze two solvable models in which the effect of the non-convergent sampling in the trained parameters can be described in detail. Finally, we test these predictions numerically on a ConvNet EBM and a Boltzmann machine.

연구 동기 및 목표

• 비수렴 MCMC 샘플링이 표준 MCMC 수렴 가정을 위반함에도 불구하고 에너지 기반 모델(EBM) 훈련에서의 경험적 성공을 설명하기 위해.
• 단기 비지속적 MCMC 체인을 사용해 훈련된 EBM이 평형 분포가 아니라 정확한 동적 과정을 통해 데이터 통계를 재현할 수 있음을 분석적으로 입증하기 위해.
• 추론 시 사용된 MCMC 스텝 수와 초기화 방식이 훈련 시 사용된 것과 정확히 일치할 때 최적의 샘플 생성이 이루어진다는 것을 보여주기 위해.
• 이러한 모델이 설명적 응용에 한계를 가지는 이유를 명확히 하기 위해, 그 평형 측도가 데이터 통계를 정확히 반영하지 못하기 때문이다.
• 훈련 동역학과 생성 성능 간의 연결을 통해 EBM을 확산 모델로 사용하는 데 이론적 기반을 마련하기 위해.

제안 방법

• 비수렴 MCMC 샘플링 하에서 EBM 훈련 동역학의 固定점 행동을 분석적으로 유도하여, 경험적 통계가 평형이 아닌 동적 과정을 통해 일치됨을 보여준다.
• 모멘트 매칭 추론을 사용해 훈련 중 단기 MCMC 실행이 모델에 특정한 동적 경로를 각인시킨다는 것을 수식적으로 형식화한다.
• 해석 가능한 두 모델인 가우시안 모델과 2차원 페러마그네틱 이징 모델을 연구하여, 비수렴 샘플링이 학습된 파ameters와 통계에 끼치는 영향을 분석적으로 기술한다.
• 컨볼루션 네트워크 EBM과 볼츠만 기계에서 수치적 검증을 수행하여, 다양한 MCMC 실행 길이에서의 샘플 품질과 통계 적합도를 비교한다.
• 2점 상관관계, 4차 상관관계, 상대 엔트로피(gzip 기반), 공분산 행렬의 고유값 오차를 측정하여 통계 적합도를 평가한다.
• 훈련 시 다양한 MCMC 스텝 수(k)와 추론 시 다양한 스텝 수(k')를 비교하여 k' = k 영역에서 최적 성능을 도출한다.

실험 결과

연구 질문

• RQ1 비수렴 MCMC 샘플링을 사용해 훈련된 EBM이 평형 샘플링이 없음에도 불구하고 여전히 고품질 샘플을 생성하는 이유는 무엇인가요?
• RQ2 비수렴 MCMC 훈련이 EBM에서 정확한 통계 재현을 가능하게 하는 정확한 동적 메커니즘은 무엇인가요?
• RQ3 EBM 샘플의 성능은 훈련 및 추론 시 사용된 MCMC 스텝 수에 따라 어떻게 달라지나요?
• RQ4 단기 비지속적 MCMC 체인을 사용해 훈련된 EBM은 효과적으로 확산 모델로 사용될 수 있나요?
• RQ5 샘플 품질이 높음에도 불구하고 이러한 EBM의 평형 분포가 진짜 데이터 통계를 제대로 기술하지 못하는 이유는 무엇인가요?

주요 결과

• 비수렴 MCMC 샘플링을 사용해 훈련된 EBM은 평형 측도가 아니라 훈련 과정 동안 각인된 정확한 동적 과정을 통해 데이터 통계를 재현한다.
• 추론 시 훈련 시 사용된 MCMC 스텝 수와 정확히 일치할 때 가장 높은 품질의 샘플이 생성되며, 이는 k의 절대값과는 무관하다.
• 조금의 k=1 훈련 실행조차도 고품질 샘플을 생성할 수 있으며, k'=k일 때 최적의 샘플 품질은 훈련 시 사용된 k 값과 무관하다. 이는 가우시안 모델과 이징 모델 실험 모두에서 입증되었다.
• k'=k에서 샘플 품질의 최고점은 훈련이 진행됨에 따라 점차 나타나며, 학습이 진행됨에 따라 이 점으로 수렴하는 것으로 나타나, 훈련과 추론의 동역학이 동적으로 일치함을 시사한다.
• 고품질 샘플을 생성함에도 불구하고, 훈련된 EBM의 평형 분포는 여전히 데이터 통계를 정확히 기술하지 못하며, 특히 혼합 시간이 긴 다중모달 또는 저차원 데이터셋에서는 더욱 심각한 문제가 발생한다.
• 모델의 성능은 다양한 관측량에 대해 뛰어난 내구성을 보이며, 2점 상관관계, 4차 상관관계, 상대 엔트로피 모두 k'=k에서 최적 성능를 보여, 이 효과의 일반성을 확인한다.