[논문 리뷰] Deep Generative Learning via Schrödinger Bridge

Gefei Wang, Yuling Jiao외 3명|arXiv (Cornell University)|2021. 06. 19.

Generative Adversarial Networks and Image Synthesis참고 문헌 38인용 수 4

한 줄 요약

이 논문은 시간에 따라 변화하는 SDE를 통해 기준 분포와 목표 분포 사이의 엔트로피 보간으로서 생성 학습을 공식화하는 슈뢰딩거 브리지 기반의 새로운 딥 생성 모델링 프레임워크를 제안한다. 미약한 부드러움 가정 하에, 이 방법은 이론적 일致성을 보장하며, 합성 및 실제 데이터 벤치마크에서 최신 GAN과 경쟁 가능한 성능을 달성하여 이미지 생성, 보간, 인painting에서 뛰어난 성과를 보여준다.

ABSTRACT

We propose to learn a generative model via entropy interpolation with a Schrödinger Bridge. The generative learning task can be formulated as interpolating between a reference distribution and a target distribution based on the Kullback-Leibler divergence. At the population level, this entropy interpolation is characterized via an SDE on $[0,1]$ with a time-varying drift term. At the sample level, we derive our Schrödinger Bridge algorithm by plugging the drift term estimated by a deep score estimator and a deep density ratio estimator into the Euler-Maruyama method. Under some mild smoothness assumptions of the target distribution, we prove the consistency of both the score estimator and the density ratio estimator, and then establish the consistency of the proposed Schrödinger Bridge approach. Our theoretical results guarantee that the distribution learned by our approach converges to the target distribution. Experimental results on multimodal synthetic data and benchmark data support our theoretical findings and indicate that the generative model via Schrödinger Bridge is comparable with state-of-the-art GANs, suggesting a new formulation of generative learning. We demonstrate its usefulness in image interpolation and image inpainting.

연구 동기 및 목표

• 이론적 일관성과 실용적 성공 사이의 격차, 특히 가능도 기반 및 암묵적 모델에 대해 해결하고자 한다.
• 로그-볼록성이나 로그-소볼레프 부등식과 같은 강력한 가정을 요구하지 않는 이론적으로 탄탄한 생성 모델링 방법을 개발하고자 한다.
• 모드 붕괴와 같은 일반적인 GAN의 실패를 피하기 위해 다중모드 분포의 안정적 학습을 가능하게 하고자 한다.
• 먼저 목표 분포의 스무딩된 버전을 학습하고, 그 다음에 진짜 데이터 분포와 일치하도록 보정하는 두 단계 알고리즘을 제안하고자 한다.
• 이미지 보간 및 인페인팅 작업을 통해 실용적 유용성을 입증하고, 최신 GAN과의 경쟁력을 보여주고자 한다.

제안 방법

• 쿠르바크-라이블러 발산을 사용하여 기준 분포와 목표 분포 사이의 엔트로피 보간으로서 생성 학습을 공식화한다.
• 시간에 따라 변화하는 드리프트 항을 가진 [0,1]에서 정의된 확률적 미분 방정식(SDE)을 통해 인구 수준의 해를 특성화한다.
• 표본 수준에서, 딥 스코어 추정기와 딥 밀도 비율 추정기를 사용하여 드리프트를 근사하기 위해 유도-마르야모 방법을 구현한다.
• 두 단계 학습 절차를 사용한다: 먼저 목표 분포의 스무딩된 버전을 학습하고, 그 다음에 진짜 분포와 일치하도록 보정한다.
• 스코어 네트워크를 사용해 스코어 함수를 추정하고, 잔차 연결 네트워크를 사용해 밀도 비율을 추정하며, 적절한 정규화 및 데이터 전처리를 수행한다.
• 생성 후 최종적으로 노이즈 제거 단계를 적용하여 생성 샘플의 노이즈를 감소시킨다.

실험 결과

연구 질문

• RQ1 슈뢰딩거 브리지 공식화가 로그-볼록성과 같은 강력한 가정 없이도 딥 생성 모델링에서 이론적 일관성을 달성할 수 있는가?
• RQ2 제안된 두 단계 알고리즘이 다중모드 데이터 분포 학습에서 안정성과 성능을 어떻게 향상시키는가?
• RQ3 슈뢰딩거 브리지 접근법이 CIFAR-10 및 CelebA와 같은 벤치마크 데이터셋에서 최신 GAN의 성능을 따라하거나 뛰어넘을 수 있는가?
• RQ4 다양한 노이즈 수준과 시간 파rameter가 생성 샘플의 품질에 어떤 영향을 미치는가?
• RQ5 이 방법은 이미지 보간 및 이미지 인페인팅과 같은 후행 작업에서 얼마나 효과적인가?

주요 결과

• 제안된 슈뢰딩거 브리지 접근법은 미약한 부드러움 가정 하에 이론적 일관성을 확보하며, 목표 분포로의 수렴을 보장한다.
• σ²=2.0일 때 CIFAR-10에서 τ=3.5일 때, 프리에치 인ception 거리(FID)는 12.45이고, 인ception 스코어는 7.98을 기록한다.
• σ²=5.0일 때, FID는 τ=8.0일 때 15.41로 상승하고 인ception 스코어는 7.59로 나타나, 다양한 노이즈 스케일에서의 강건한 성능을 보여준다.
• 모드 붕괴 없이 다중모드 합성 분포를 성공적으로 학습했으며, 이는 GAN이 이러한 환경에서 자주 실패하는 것과 대비된다.
• 이미지 보간 및 인페인팅 결과는 이 방법의 실용적 유용성과 일반화 능력을 입증한다.
• 최종 노이즈 제거 단계는 생성된 이미지의 잔여 노이즈를 감소시켜 샘플 품질을 크게 향상시킨다.