[논문 리뷰] Minimizing Trajectory Curvature of ODE-based Generative Models

Sangyun Lee, Beomsu Kim외 1명|arXiv (Cornell University)|2023. 01. 27.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

이 논문은 ODE 기반 생성 모델에서 궤도 곡률을 최소화하기 위한 방법을 제안한다. 전방 과정을 최적화하여 궤도 간 교차를 줄임으로써 추적 오차를 낮추고 샘플링 속도를 향상시킨다. 시간 조건부 β-VAE로 문제를 공식화함으로써, 훈련 중 ODE 시뮬레이션을 필요로 하지 않으면서도 FID 점수를 크게 낮추는 데 성공했다 (예: 5개의 기능 평가(NFE)에서 18.74 대비 37.19).

ABSTRACT

Recent ODE/SDE-based generative models, such as diffusion models, rectified flows, and flow matching, define a generative process as a time reversal of a fixed forward process. Even though these models show impressive performance on large-scale datasets, numerical simulation requires multiple evaluations of a neural network, leading to a slow sampling speed. We attribute the reason to the high curvature of the learned generative trajectories, as it is directly related to the truncation error of a numerical solver. Based on the relationship between the forward process and the curvature, here we present an efficient method of training the forward process to minimize the curvature of generative trajectories without any ODE/SDE simulation. Experiments show that our method achieves a lower curvature than previous models and, therefore, decreased sampling costs while maintaining competitive performance. Code is available at https://github.com/sangyun884/fast-ode.

연구 동기 및 목표

• ODE 기반 생성 모델의 높은 샘플링 비용을 해결하기 위해, 수치적 해법기에서 발생하는 높은 궤도 곡률과 관련된 추적 오차의 원인을 다루는 것.
• 수 rectified flow 및 ODE/SDE 기반 모델에서 전방 궤도의 교차와 역방향 궤도 곡률 간의 관계를 조사하는 것.
• 훈련 중 ODE 시뮬레이션을 필요로 하지 않으면서 궤도 곡률을 최소화하는 훈련 방법을 개발하는 것.
• 더 적은 기능 평가 수로도 더 빠른 샘플링을 가능하게 하되, 경쟁 수준의 생성 성능을 유지하는 것.
• 기존의 ODE 기반 생성 모델을 위한 가속 기법들과 보완되는 효율적인 대안을 제공하는 것.

제안 방법

• 전방 궤도 간 교차 정도를 최소화하도록 전방 과정을 훈련함으로써, 이는 역방향 궤도 곡률과 상관관계가 있음.
• 잠재 변수가 시간과 입력 데이터에 조건부로 설정된 시간 조건부 디코더로 전방 과정을 β-VAE 프레임워크에 통합함.
• β로 스케일링된 KL 발산 항을 포함한 변분 목표함수를 사용하여 높은 교차를 방지함.
• 전방 궤도가 수렴하여 동일한 경로를 따르지 않도록 유도함으로써, 곡률 감소를 암묵적으로 달성함.
• 훈련 중 ODE 시뮬레이션을 필요로 하지 않아 계산적으로 효율적이고 확장 가능함.
• 기존의 ODE/SDE 기반 모델과 호환되며, 다른 가속 기법들과 조합 가능함.

실험 결과

연구 질문

• RQ1 ODE 기반 모델에서 전방 궤도의 교차는 역방향 생성 궤도 곡률과 어떻게 관련이 있는가?
• RQ2 ODE 시뮬레이션 없이도 전방 궤도 교차를 줄이면 역방향 과정에서 곡률이 낮아질 수 있는가?
• RQ3 곡률 최소화는 얼마나 많은 기능 평가 수로도 샘플링 효율성을 향상시킬 수 있는가?
• RQ4 제한된 샘플링 예산 하에서 제안된 방법은 기준 ODE 기반 모델과 FID 점수 및 샘플 품질 측면에서 어떻게 비교되는가?
• RQ5 재훈련 없이도 다양한 아키텍처와 데이터셋에 일반화 가능한가?

주요 결과

• 제안된 방법은 CIFAR-10에서 기능 평가 수(NFE)가 5개일 때 FID 점수 18.74를 기록하여 동일 조건에서 기준 모델의 37.19보다 유의미하게 뛰어난 성능을 보였다.
• RK45 솔버를 사용해 전체 ODE 시뮬레이션을 수행한 상황에서도, β=20일 때 모든 NFE 설정에서 기준 모델보다 뛰어난 샘플 품질을 확보했다.
• 이전 모델보다 궤도 곡률을 더 효과적으로 감소시켜 수치적 해법기에서의 추적 오차를 낮추는 데 기여했다.
• 모델 정제 성능이 향상되어, 낮은 정제 오차로 고품질의 1단계 학생 모델을 생성하는 데 성공했다.
• 모델은 다양한 데이터셋에서 뛰어난 안정성을 보였으며, MNIST, CIFAR-10, CelebAHQ(64×64)에서 일관된 성능 향상을 보였다.
• 높은 β 값(예: 20)은 모든 샘플링 예산에서 기준 모델을 뛰어넘었으며, 수동적인 하이퍼파rameter 튜닝의 필요성을 줄였다.