[논문 리뷰] Deep Generative Learning via Schr\"{o}dinger Bridge

Gefei Wang, Yuling Jiao외 3명|arXiv (Cornell University)|2021. 06. 19.

Generative Adversarial Networks and Image Synthesis참고 문헌 58인용 수 4

한 줄 요약

이 논문은 엔트로피 최소화를 통한 기준 분포와 목표 분포 사이의 보간을 위해 슈뢰딩거 브리지 프레임워크를 사용하는 딥 생성 모델링 접근법을 제안한다. 시간에 따라 변화하는 드리프트를 딥 스코어 및 밀도 비율 모델을 통해 추정하고, 유도-마루야마 방법을 적용함으로써, 목표 분포로의 일致한 수렴을 달성한다. 실험 결과는 이미지 생성, 보간, 인painting 작업에서 최신 기술 수준의 GAN과 경쟁하는 성능을 보여준다.

ABSTRACT

We propose to learn a generative model via entropy interpolation with a Schrodinger Bridge. The generative learning task can be formulated as interpolating between a reference distribution and a target distribution based on the KullbackLeibler divergence. At the population level, this entropy interpolation is characterized via an SDE on [0, 1] with a time-varying drift term. At the sample level, we derive our Schrodinger Bridge algorithm by plugging the drift term estimated by a deep score estimator and a deep density ratio estimator into the Euler-Maruyama method. Under some mild smoothness assumptions of the target distribution, we prove the consistency of both the score estimator and the density ratio estimator, and then establish the consistency of the proposed Schrodinger Bridge approach. Our theoretical results guarantee that the distribution learned by our approach converges to the target distribution. Experimental results on multimodal synthetic data and benchmark data support our theoretical findings and indicate that the generative model via Schrodinger Bridge is comparable with state-of-the-art GANs, suggesting a new formulation of generative learning. We demonstrate its usefulness in image interpolation and image inpainting.

연구 동기 및 목표

• 기준 분포와 목표 분포 사이의 엔트로피 보간을 기반으로 한 이론적으로 탄탄한 딥 생성 모델 개발.
• 시간에 따라 변화하는 드리프트를 갖는 슈뢰딩거 브리지 과정으로 복잡한 목표 분포를 학습하는 문제를 재구성함으로써 도전 과제 해결.
• 목표 분포의 약간의 매끄러움 조건 하에서도 학습된 생성 모델의 일致성 보장.
• 이미지 보간 및 이미지 인painting 작업에서의 방법의 효과성 입증을 통해 합성 데이터를 넘어서 실용적 유용성 입증.

제안 방법

• 시간 T에서의 보간 과정과 목표 분포 사이의 쿨백-라이블러 발산을 최소화하는 방식으로 생성 학습 과제를 설정.
• 시간에 따라 변화하는 드리프트 항을 포함한 [0,1]에서의 확률적 미분 방정식(SDE)으로 보간 과정을 모델링하며, 이는 슈뢰딩거 브리지 프레임워크에서 유도됨.
• 목표 데이터 분포에서 학습된 딥 스코어 추정기로 드리프트 항을 추정.
• 동시에 딥 신경망을 사용하여 목표 분포와 기준 분포 간의 밀도 비율을 추정.
• 추정된 드리프트 및 분산 항을 사용하여 SDE의 유도-마루야마 이산화를 구현하여 샘플 생성.
• KL 발산 목표를 최소화하기 위해 그래디언트 기반 최적화를 사용하여 스코어 및 밀도 비율 추정기를 종합적으로 훈련.

실험 결과

연구 질문

• RQ1 스코어 및 밀도 비율 추정을 기반으로 한 신경망을 사용하여 슈뢰딩거 브리지 프레임워크를 딥 생성 모델링에 효과적으로 적용할 수 있는가?
• RQ2 목표 밀도에 대한 약간의 매끄러움 조건 하에서도 제안된 방법이 목표 분포로의 일관된 수렴을 달성하는가?
• RQ3 표준 벤치마크에서 제안된 슈뢰딩거 브리지 생성 모델의 성능은 최신 기술 수준의 GAN과 비교해 어떻게 되는가?
• RQ4 이 방법은 이미지 보간 및 이미지 인painting과 같은 후행 작업에 성공적으로 적용될 수 있는가?

주요 결과

• 제안된 슈뢰딩거 브리지 방법은 목표 밀도에 대한 약간의 매끄러움 조건 하에서도 목표 분포로의 일관된 수렴을 달성한다.
• 딥 스코어 추정기와 밀도 비율 추정기는 일致성이 입증되어 전체 방법의 통계적 신뢰성을 보장한다.
• 다중모달 합성 데이터에 대한 실험 결과는 프레임워크의 이론적 수렴 성질을 확인한다.
• 벤치마크 데이터셋에서, 이 방법은 샘플 품질과 다양성 측면에서 최신 기술 수준의 GAN과 비교해 유사한 생성 성능을 달성한다.
• 이미지 보간 및 이미지 인painting 작업에서 강력한 성능을 보이며, 표준 생성 작업을 넘어서 실용적 유용성을 입증한다.