[논문 리뷰] A Tale of Two Flows: Cooperative Learning of Langevin Flow and Normalizing Flow Toward Energy-Based Model

Jianwen Xie, Yaxuan Zhu외 2명|arXiv (Cornell University)|2022. 05. 13.

Generative Adversarial Networks and Image Synthesis인용 수 9

한 줄 요약

이 논문은 에너지 기반 모델에서 비혼합성 MCMC 샘플링에도 불구하고 효과적인 이미지 생성, 복원, 보간을 달성하기 위해 정규화 흐름과 단기 랭게비언 흐름을 공동으로 훈련하는 협동 학습 프레임워크인 CoopFlow을 제안한다. 정규화 흐름을 사용해 랭게비언 역학을 초기화하고, MCMC 전이를 활용해 정규화 흐름을 개선함으로써 CoopFlow은 비혼합성 MCMC 샘플링 상황에서도 효과적인 이미지 생성, 복원, 보간을 달성한다.

ABSTRACT

This paper studies the cooperative learning of two generative flow models, in which the two models are iteratively updated based on the jointly synthesized examples. The first flow model is a normalizing flow that transforms an initial simple density to a target density by applying a sequence of invertible transformations. The second flow model is a Langevin flow that runs finite steps of gradient-based MCMC toward an energy-based model. We start from proposing a generative framework that trains an energy-based model with a normalizing flow as an amortized sampler to initialize the MCMC chains of the energy-based model. In each learning iteration, we generate synthesized examples by using a normalizing flow initialization followed by a short-run Langevin flow revision toward the current energy-based model. Then we treat the synthesized examples as fair samples from the energy-based model and update the model parameters with the maximum likelihood learning gradient, while the normalizing flow directly learns from the synthesized examples by maximizing the tractable likelihood. Under the short-run non-mixing MCMC scenario, the estimation of the energy-based model is shown to follow the perturbation of maximum likelihood, and the short-run Langevin flow and the normalizing flow form a two-flow generator that we call CoopFlow. We provide an understating of the CoopFlow algorithm by information geometry and show that it is a valid generator as it converges to a moment matching estimator. We demonstrate that the trained CoopFlow is capable of synthesizing realistic images, reconstructing images, and interpolating between images.

연구 동기 및 목표

• 에너지 기반 모델(EBM)에서 비혼합성, 수렴하지 않는 랭게비언 역학으로 인해 발생하는 편향된 기울기 추정과 낮은 모델 캘리브레이션 문제를 해결한다.
• 제약된 가역 변환으로 인해 표현력이 제한되는 정규화 흐름의 한계를 극복하기 위해, 유사한 흐름 구조를 가진 랭게비언 역학과 통합한다.
• 정규화 흐름이 랭게비언 역학의 빠른 초기화 도구로 기능하고, 랭게비언 흐름이 시간 차이 학습을 통해 정규화 흐름을 향상시키는 협동 학습 체계를 개발한다.
• 비혼합성 MCMC 조건 하에서도 두 흐름의 조합이 순간 일치 추정기로 수렴함으로써 유효한 생성 모델로 유지됨을 입증한다. 이는 모델 유효성을 보장한다.

제안 방법

• 두 흐름 생성자 제안: 정규화 흐름은 접근 가능한 밀도 모델링을 위해 사용하고, 단기 랭게비언 흐름은 에너지 기반 모델에서 MCMC 기반 샘플링을 위해 사용한다.
• 랭게비언 역학의 잠재 변수를 정규화 흐름을 통해 초기화하여 효과적인 샘플링을 위한 랭게비언 단계 수를 감소시킨다.
• 비수렴 상태임에도 불구하고 공정한 샘플로 간주할 수 있도록, 두 흐름 생성자로부터 유도된 합성 예제를 사용해 최대우도 기반으로 에너지 기반 모델을 훈련시킨다.
• 랭게비언 흐름을 통해 생성된 합성 예제의 가능도를 최대화함으로써 정규화 흐름을 업데이트하여, 추론의 효율화를 달성한다.
• 정규화 흐름의 초기 샘플과 랭게비언 역학에 의해 개선된 샘플 간의 시간 차이를 활용해 공동 최적화 기법을 구현한다.
• 관측된 이미지를 잠재 공간으로 역행사의 기울기 하강법을 통해 변환하기 위한 복원 손실을 사용하여, 이미지 복원 및 인painting 작업을 지원한다.

실험 결과

연구 질문

• RQ1 비혼합성 MCMC 조건 하에서도 정규화 흐름과 랭게비언 흐름 간의 협동 학습 프레임워크가 에너지 기반 모델에서 샘플 품질을 향상시킬 수 있는가?
• RQ2 정규화 흐름과 단기 랭게비언 흐름의 조합이 순간 일치 추정기로 수렴하는 유효한 생성 모델을 형성하는가?
• RQ3 정규화 흐름이 랭게비언 역학을 효과적으로 초기화하여 필요한 랭게비언 단계 수를 줄일 수 있으며, 샘플 품질을 유지할 수 있는가?
• RQ4 이러한 이중 흐름 생성자 체계는 이미지 복원, 인painting, 잠재 공간 보간 등의 후행 작업을 어느 정도 지원할 수 있는가?
• RQ5 CoopFlow 프레임워크의 정보 기하학적 특성은 비혼합성 MCMC 조건 하에서도 수렴성과 안정성을 보장하는 데 어떻게 기여하는가?

주요 결과

• CoopFlow은 비혼합성 MCMC 조건 하에서도 정규화 흐름을 초기화 도구로, 단기 랭게비언 흐름을 개선 도구로 활용하여 현실적인 이미지를 성공적으로 합성한다.
• CIFAR-10에서 고품질의 이미지 복원을 달성하였으며, 잠재 코드에 대해 200단계의 기울기 하강법을 수행한 후 원본 입력과 유사한 재구성 이미지를 생성한다.
• CelebA 데이터셋에서 CoopFlow은 다양한 초기화 및 최적화 반복 조건에서도 다양하고 일관성 있는 결과를 생성함으로써 효과적인 이미지 인painting을 가능하게 한다.
• 관측된 데이터로부터 추론된 이미지 간의 잠재 공간 보간은 매끄럽고 의미 있는 전이를 보이며, 잘 구조화되고 매끄러운 데이터 다양체를 나타낸다.
• 이론적 분석을 통해 CoopFlow이 순간 일치 추정기로 수렴함을 입증하였으며, 이는 비수렴성 MCMC 조건 하에서도 일관된 생성 모델로 사용될 수 있음을 검증한다.
• 협동 훈련 체계는 두 흐름이 상호 보완적으로 향상되도록 한다: 정규화 흐름은 더 나은 초기화를 학습하고, 랭게비언 흐름은 더 나은 피드백을 제공하여 개선을 이룬다.