[논문 리뷰] Poisson Flow Generative Models

Yilun Xu, Ziming Liu외 2명|arXiv (Cornell University)|2022. 09. 22.

Generative Adversarial Networks and Image Synthesis인용 수 11

한 줄 요약

Poisson Flow Generative Models (PFGM)는 고차원 반구상 분포에서 데이터 분포로의 변환을 위해 데이터 포인트를 확장된 공간 내 전하로 모델링하고, 이를 통해 포아송 필드(전기장)를 생성하는 새로운 정규화 흐름 프레임워크를 제안한다. 이 필드의 흐름선을 따라 초기 분포를 변환함으로써 효과적인 생성 모델링을 달성한다. 이 방법은 CIFAR-10에서 FID 2.35, Inception score 9.68의 최고 성능을 기록하며, 추가 차원에 기반한 안정적인 역방향 ODE 샘플러를 통해 SDE 기반 방법보다 10–20배 빠른 샘플링을 가능하게 한다.

ABSTRACT

We propose a new "Poisson flow" generative model (PFGM) that maps a uniform distribution on a high-dimensional hemisphere into any data distribution. We interpret the data points as electrical charges on the $z=0$ hyperplane in a space augmented with an additional dimension $z$, generating a high-dimensional electric field (the gradient of the solution to Poisson equation). We prove that if these charges flow upward along electric field lines, their initial distribution in the $z=0$ plane transforms into a distribution on the hemisphere of radius $r$ that becomes uniform in the $r o\infty$ limit. To learn the bijective transformation, we estimate the normalized field in the augmented space. For sampling, we devise a backward ODE that is anchored by the physically meaningful additional dimension: the samples hit the unaugmented data manifold when the $z$ reaches zero. Experimentally, PFGM achieves current state-of-the-art performance among the normalizing flow models on CIFAR-10, with an Inception score of $9.68$ and a FID score of $2.35$. It also performs on par with the state-of-the-art SDE approaches while offering $10 imes $ to $20 imes$ acceleration on image generation tasks. Additionally, PFGM appears more tolerant of estimation errors on a weaker network architecture and robust to the step size in the Euler method. The code is available at https://github.com/Newbeeer/poisson_flow .

연구 동기 및 목표

• GAN의 불안정성과 SDE의 느린 샘플링을 피하면서도 안정적이고 빠르며 고품질의 정규화 흐름을 개발하는 것.
• 특히 고차원 공간에서 포아송 방정식과 전기장 역학을 활용해 단순한 사전 분포와 복잡한 데이터 분포 간의 이항 변환을 정의하는 것.
• 추가 차원에 기반한 고정점이 있는 역방향 ODE를 통해 안정적이고 내성적인 샘플링을 가능하게 하는 것.
• 기존 연속 정규화 흐름 및 ODE 기반 SDE 샘플러보다 샘플 품질과 추론 속도 측면에서 우수한 성능을 보여주는 것.
• 역행성 있고 물리적으로 해석 가능한 잠재 공간의 잠재적 응용, 예를 들어 보간 및 온도 조정을 위한 탐색

제안 방법

• 모델은 N차원 데이터 포인트를 (N+1)차원 공간 내 z=0 초평면 상의 양전하로 간주하고, 데이터를 소스로 하는 포아송 방정식의 해의 기울기를 통해 포아송 필드를 생성한다.
• 전방향 ODE는 포아송 필드선을 따라 입자를 이동시켜, z=0 평면 상의 초기 분포를 r→∞에서 반구상 균일 분포로 변환한다.
• 역방향 ODE는 이 과정을 뒤집는다: 반구상에 균일하게 분포한 음전하에서 출발해 입자가 z=0 평면으로 유입되며, 이로써 데이터 분포에서 샘플을 생성한다.
• 포아송 필드는 신경망을 통해 추정되며, 정규화된 필드는 안정적인 훈련과 샘플링을 보장한다.
• 샘플링은 시간 기반 변수를 z-차원에 고정한 역방향 ODE 솔버(예: RK45)를 사용하며, 이는 스텝 크기 및 모델 아키텍처 오차에 대한 민감도를 감소시킨다.
• 안정적인 최적화와 고해상도 생성을 가능하게 하는 정규화된 필드 추정기와 함께 스코어 기반 훈련 목표를 사용한다.

실험 결과

연구 질문

• RQ1 포아송 필드 역학에 기반한 물리학 기반 연속 정규화 흐름이 이미지 생성에서 최고 수준의 샘플 품질을 달성할 수 있는가?
• RQ2 추가 차원에 기반한 ODE의 고정점이 수치 오차 및 모델 용량 제약에 대한 내성성을 향상시키는가?
• RQ3 포아송 흐름 기반 역방향 ODE 샘플러가 속도와 샘플 품질 측면에서 SDE 기반 ODE 샘플러를 능가할 수 있는가?
• RQ4 포아송 흐름의 역행성 구조는 이미지 보간 및 잠재 공간 내 온도 조절과 같은 후속 작업에 어떻게 기여하는가?
• RQ5 약한 네트워크 아키텍처나 다양한 스텝 크기를 사용할 경우, 이 방법이 얼마나 안정적이고 효과적인가?

주요 결과

• PFGM는 CIFAR-10에서 Fréchet Inception Distance(FID) 2.35와 Inception score 9.68를 기록하며, 정규화 흐름 모델 기준으로 새로운 최고 기록을 수립했다.
• SDE 기반 접근 방식 대비 10–20배 빠른 샘플링 속도를 제공하며, 총 월클록 샘플링 시간은 PFGM 57.81초, VP-SDE + PC 샘플러 기준 490.65초였다.
• PFGM는 NCSNv2 아키텍처에서 보정 없이도 고품질 샘플을 생성하는 오직 유일한 ODE 기반 샘플러였으며, 다른 ODE 기반 베이스라인은 실패했다.
• PFGM의 역방향 ODE는 스텝 수의 변화에 대해 더 뛰어난 내성성을 보였으며, 10에서 100개의 함수 평가 범위에서 고수준의 샘플 품질을 유지했다.
• 역행성 ODE는 고품질 이미지 보간 및 잠재 공간 내 온도 조절을 가능하게 하여 의미 있는 분리성과 제어 가능성의 증거를 제시했다.
• PFGM는 고해상도 이미지로의 확장이 가능하며, DDPM++ 채널 구성 사용 시 256×256 해상도의 LSUN 침실 이미지에서 현실적인 샘플을 생성했다.