[논문 리뷰] Sliced-Wasserstein Flows: Nonparametric Generative Modeling via Optimal Transport and Diffusions

Antoine Liutkus, Umut Ş Imşekli외 3명|arXiv (Cornell University)|2018. 06. 21.

Generative Adversarial Networks and Image Synthesis인용 수 42

한 줄 요약

이 논문은 파라미터가 필요 없는 비모수적 암시적 생성 모델링(IGM) 알고리즘을 gradient flow를 이용한 Wasserstein 공간에서 제안하며, 분포를 학습하고 이들로부터 샘플링하기 위한 sliced-Wasserstein 거리와 엔트로피 정규화를 사용하고 이론적 보장을 제공합니다.

ABSTRACT

By building upon the recent theory that established the connection between implicit generative modeling (IGM) and optimal transport, in this study, we propose a novel parameter-free algorithm for learning the underlying distributions of complicated datasets and sampling from them. The proposed algorithm is based on a functional optimization problem, which aims at finding a measure that is close to the data distribution as much as possible and also expressive enough for generative modeling purposes. We formulate the problem as a gradient flow in the space of probability measures. The connections between gradient flows and stochastic differential equations let us develop a computationally efficient algorithm for solving the optimization problem. We provide formal theoretical analysis where we prove finite-time error guarantees for the proposed algorithm. To the best of our knowledge, the proposed algorithm is the first nonparametric IGM algorithm with explicit theoretical guarantees. Our experimental results support our theory and show that our algorithm is able to successfully capture the structure of different types of data distributions.

연구 동기 및 목표

• 암시적 생성 모델링(IGM)과 그것의 OT 연결을 동기 부여한다.
• 이론적 보장을 갖는 파라미터 없이 비모수적 학습 알고리즘을 개발한다.
• 목표 분포 ν를 근사하기 위해 Wasserstein 공간에서의 gradient flow를 형식화한다.
• 표현력을 보장하고 데이터에 대한 과적합을 피하기 위해 엔트로피 정규화를 도입한다.
• 실용적인 알고리즘과 유한 시간 오차 한계를 제공하고 합성 데이터 및 실제 데이터로 입증한다.

제안 방법

• 학습 문제를 F^ν_λ(μ) = (1/2) SW_2^2(μ, ν) + λ H(μ)를 최소화하는 것으로 형식화한다.
• 고차원 OT를 1차원 OT 문제의 평균으로 환원하는 sliced-Wasserstein 거리 SW_2를 사용한다.
• P_2, W_2에서의 일반화된 최소화 이동으로 진화를 나타내고 Fokker-Planck 방정식과 연결된 PDE를 도입한다.
• 투영된 분포 간의 Kantorovich 포텐셜을 이용해 표현된 드리프트 v_t(x, μ_t)를 갖는 확률적 입자 시스템을 도출한다.
• 구면상의 임의 방향 θ에 대한 몬테카를로 근사를 사용해 드리프트를 근사하고, 이를 통해 근사적인 Euler–Maruyama 이산화를 가능하게 한다.
• McKean–Vlasov 타입 SDE와의 연결을 보이고 이 산술화된 스킴에 대한 유한 시간 오차 한계를 제공한다.
• Algorithm 1 (Sliced-Wasserstein Flow)를 구현하여 입자들을 드리프트 추정치와 가우시안 잡음으로 업데이트한다.
• 해당 이론적 결과: 그라디언트 플로우 해의 존재 경로 및 입자 근사와 목표 흐름 간의 총변이(total variation) 오차에 대한 유한 시간 경계를 제공합니다.

실험 결과

연구 질문

• RQ1 명시적 수렴 보장을 갖는 비모수적이고 파라미터 없는 IGM 방법을 개발할 수 있는가?
• RQ2 Sliced-Wasserstein 흐름 프레임워크가 엔트로피 정규화를 갖춘 Wasserstein 공간에서 잘 정의된 gradient flow를 산출하는가?
• RQ3 실용적인 입자 기반 알고리즘이 gradient flow를 효율적으로 근사하고 유한 시간 오차 보장을 제공할 수 있는가?
• RQ4 엔트로피 정규화가 표현력에 어떤 영향을 미치고 유한 데이터에 대한 과적합을 어떻게 방지하는가?
• RQ5 합성 데이터 및 실제 데이터에 대한 실험이 이론적 보장을 검증하고 학습/생성 능력을 입증하는가?

주요 결과

• 유한 시간 오차 보장을 갖는 gradient-flow 기반의 비parametric IGM 알고리즘이 제안되었다.
• SW_2 거리와 엔트로피 정규화는 Fokker–Planck 방정식과 연결된 PDE에 의해 밀도가 진화하는 잘 정의된 흐름을 산출한다.
• 적절한 조건하에서 대상 흐름을 근사하는 근사적인 Euler–Maruyama 이산화가 있는 실용적인 입자 시스템이 도출되고 근사성을 보인다.
• 드리프트는 임의 투영 방향에 대한 몬테카를로 근사를 통해 추정되어 확장 가능한 계산을 가능하게 한다.
• 알고리즘 실험(Gaussian 혼합, MNIST, CelebA bottleneck 특징)은 SW 비용의 감소와 타당한 샘플 생성 모습을 보여주며, 정규화가 확산을 제어한다.
• 이론적 결과는 방법을 SGLD형 동역학과 연결하고 스텝 크기, 드리프트 분산, 정규화 매개변수 λ의 관점에서 비점근적 오차 한계를 제공한다.