[논문 리뷰] Learning Non-Convergent Non-Persistent Short-Run MCMC Toward Energy-Based Model

Erik Nijkamp, Mitch Hill외 2명|arXiv (Cornell University)|2019. 04. 22.

Generative Adversarial Networks and Image Synthesis참고 문헌 59인용 수 72

한 줄 요약

이 논문은 수렴하지 않는 짧은 실행의 MCMC로 EBMs를 학습하는 것을 연구하며, 그 결과 학습된 짧은 실행 MCMC가 현실적인 이미지를 생성하고 제너레이터나 플로우 모델로 작동할 수 있음을 보이되, 잘못된 모델의 잘못된 샘플러를 학습한다는 점이 있다.

ABSTRACT

This paper studies a curious phenomenon in learning energy-based model (EBM) using MCMC. In each learning iteration, we generate synthesized examples by running a non-convergent, non-mixing, and non-persistent short-run MCMC toward the current model, always starting from the same initial distribution such as uniform noise distribution, and always running a fixed number of MCMC steps. After generating synthesized examples, we then update the model parameters according to the maximum likelihood learning gradient, as if the synthesized examples are fair samples from the current model. We treat this non-convergent short-run MCMC as a learned generator model or a flow model. We provide arguments for treating the learned non-convergent short-run MCMC as a valid model. We show that the learned short-run MCMC is capable of generating realistic images. More interestingly, unlike traditional EBM or MCMC, the learned short-run MCMC is capable of reconstructing observed images and interpolating between images, like generator or flow models. The code can be found in the Appendix.

연구 동기 및 목표

• 동수렴 비현충 혼합되지 않는 짧은 실행 MCMC를 사용한 에너지 기반 모델(EBM) 학습에 대한 동기 부여와 분석.
• 고정 스텝, 노이즈 초기화 MCMC가 현실적인 이미지 생성을 낼 수 있음을 시연.
• 학습된 짧은 실행 MCMC가 이미지 간 보간 및 관측된 이미지를 재구성할 수 있음을 보임.
• 일반화된 모멘트 매칭과 엔트로피 고려와의 이론적 연결을 설명.
• 짧은 실행 MCMC를 타당한 제너레이터 모델로 보고 관련 작업(인페인팅, 초해상도, 스타일 전이)에 정보를 제공할 수 있음을 제안.

제안 방법

• ConvNet으로 매개된 에너지 f_theta(x)를 가진 Gibbs 분포로 p_theta(x)를 정의한다.
• 정확한 p_theta 샘플링을 고정 K 스텝 MCMC M_theta로 대체하고, 고정 p0(예: 균일 노이즈)에서 시작하여 q_theta를 유도한다.
• 데이터 기대치에서 q_theta 기대치를 뺀 값을 이용한 최대우도 기울기로 theta를 업데이트한다(Δ(theta)).
• 학습을 안정화하고 추정 방정식의 수렴을 촉진하기 위해 관측 데이터에 가우시안 노이즈를 주입한다.
• x = M_theta(z, u) 형태로 q_theta를 잠재 변수 z ~ p0와 MCMC 난수 u를 이용한 제너레이터 또는 플로우 모델로 해석한다.
• 일반화된 모멘트 매칭 추정기와 정보 이론적 쌍대성(피타고라스 관계)에 대한 개념적·수학적 연결을 제공한다.

실험 결과

연구 질문

• RQ1 수렴하지 않고 비영속적인 짧은 실행 MCMC가 효과적으로 EBM을 학습할 수 있는가?
• RQ2 결과적인 짧은 실행 MCMC가 데이터에 대한 유효한 모델이며 생성, 보간, 재구성이 가능한가?
• RQ3 하이퍼파라미터(K, 잡음 수준, 모델 너비)가 합성 품질과 안정성에 어떤 영향을 미치는가?
• RQ4 학습된 짧은 실행 MCMC를 잠재 변수와 잔여 구조를 가진 제너레이터 또는 플로우 모델로 해석할 수 있는가?
• RQ5 이 학습 방식에서 모멘트 매칭과 엔트로피와의 이론적 연결은 무엇인가?

주요 결과

• 고정 초기화된 짧은 실행 MCMC가 수렴하지 않아도 현실적인 이미지를 생성할 수 있다.
• 학습된 짧은 실행 MCMC가 생성된 샘플들 사이를 보간하고 관찰된 이미지를 재구성할 수 있으며, 제너레이터/플로우 모델과 유사하다.
• K를 증가시키면 보존성(충실도)이 향상되고 q_theta와 p_theta 간의 KL 발산이 계산 한계에 도달할 때까지 감소한다.
• 데이터에 노이즈를 추가하면 학습이 안정화되고 추정 방정식 Δ(theta)=0의 수렴이 가능하다.
• 특징 수(n_f)가 많아지고 적절한 노이즈 레벨에서 합성 품질이 향상되며 IS/FID 지표가 경쟁력을 보인다.