[논문 리뷰] Improved Order Analysis and Design of Exponential Integrator for Diffusion Models Sampling

Qinsheng Zhang, Jiaming Song외 1명|arXiv (Cornell University)|2023. 08. 04.

Advanced Neuroimaging Techniques and ApplicationsMedicine인용 수 3

한 줄 요약

이 논문은 기존 방법에서 간과된 순서 조건을 보완하는 새로운 고차수 지수 적분법인 정제된 지수 해법기(Refined Exponential Solver, RES)를 제안한다. 확산 모델 추론에 대해 확률 흐름 상미방정식을 표준 반선형 형태로 재구성하고 전순서 조건을 강제 적용함으로써, RES는 더 엄밀한 이론적 오차 한계와 뛰어난 실용적 성능을 달성한다. ImageNet에서 DPM-Solver++ 대비 9개의 NFE(함수 평가 횟수)에서 FID를 25.4% 감소시키고 수치적 결함을 25.2% 감소시킨다.

ABSTRACT

Efficient differential equation solvers have significantly reduced the sampling time of diffusion models (DMs) while retaining high sampling quality. Among these solvers, exponential integrators (EI) have gained prominence by demonstrating state-of-the-art performance. However, existing high-order EI-based sampling algorithms rely on degenerate EI solvers, resulting in inferior error bounds and reduced accuracy in contrast to the theoretically anticipated results under optimal settings. This situation makes the sampling quality extremely vulnerable to seemingly innocuous design choices such as timestep schedules. For example, an inefficient timestep scheduler might necessitate twice the number of steps to achieve a quality comparable to that obtained through carefully optimized timesteps. To address this issue, we reevaluate the design of high-order differential solvers for DMs. Through a thorough order analysis, we reveal that the degeneration of existing high-order EI solvers can be attributed to the absence of essential order conditions. By reformulating the differential equations in DMs and capitalizing on the theory of exponential integrators, we propose refined EI solvers that fulfill all the order conditions, which we designate as Refined Exponential Solver (RES). Utilizing these improved solvers, RES exhibits more favorable error bounds theoretically and achieves superior sampling efficiency and stability in practical applications. For instance, a simple switch from the single-step DPM-Solver++ to our order-satisfied RES solver when Number of Function Evaluations (NFE) $=9$, results in a reduction of numerical defects by $25.2\%$ and FID improvement of $25.4\%$ (16.77 vs 12.51) on a pre-trained ImageNet diffusion model.

연구 동기 및 목표

• 확산 모델을 위한 고차수 지수 적분법에서 성능 저하의 근본 원인을 규명하기 위해.
• DPM-Solver++와 같은 기존 해법에서 이론적 수렴 속도와 실질적 성능 간 격차를 해결하기 위해.
• 오차 재귀와 내성적 안정성을 향상시키기 위해 모든 순서 조건을 충족하는 새로운 해법을 개발하기 위해.
• 제안된 방법이 다양한 확산 모델과 추론 설정에서 일반화 가능하고 우월함을 입증하기 위해.

제안 방법

• 변수변환을 통해 확산 모델의 확률 흐름 상미방정식을 표준 반선형 형태로 재구성함으로써, 노이즈 예측 모델과 데이터 예측 모델을 통합한다.
• 단일 단계 지수 적분법의 엄밀한 순서 분석을 수행하여, 존재하는 방법들이 열악한 Butcher 표를 이유로 핵심 순서 조건을 위반함을 밝혀낸다.
• 모든 필수 순서 조건을 충족하는 새로운 Butcher 표를 구성함으로써 Refined Exponential Solver(RES)를 설계한다.
• 열악한 해법보다 훨씬 날카운 이론적 오차 한계를 도출하여, 더 나은 안정성과 수렴성을 보장한다.
• 단일 단계 및 다단계 결정론적 추론 기법뿐 아니라 확률적 추론에도 RES를 통합하여 광범위한 적용성을 확보한다.
• ImageNet과 DeepFloyd IF 모델에서 광범위한 실험을 통해 동일한 설정에서 최첨단 기준과 비교하여 방법을 검증한다.

실험 결과

연구 질문

• RQ1 왜 고차수 지수 적분법은 최적 수렴 속도를 주장함에도 불구하고 확산 모델에서 성능이 열등한가?
• RQ2 기존 지수 적분법 해법에서 누락된 특정 순서 조건은 무엇이며, 이로 인해 정확도와 안정성이 떨어지는가?
• RQ3 확산 모델의 확률 흐름 상미방정식은 어떻게 재매개변수화되어 단일화되고 안정적인 수치적 해법 프레임워크를 가능하게 하는가?
• RQ4 지수 적분법에 전순서 조건을 강제 적용할 경우 추론 품질과 효율성이 얼마나 향상되는가?
• RQ5 제안된 정제된 지수 해법기(RES)는 다양한 확산 모델 아키텍처와 데이터 모odalities에서 기존 최첨단 방법을 초월할 수 있는가?

주요 결과

• 9개의 NFE에서 사전 학습된 ImageNet 확산 모델에서 단일 단계 DPM-Solver++에서 단일 단계 RES로 전환하면 FID가 16.77에서 12.51로 감소하여 25.4% 향상된다.
• 동일한 전환으로 수치적 결함이 25.2% 감소하여 정확도와 안정성이 향상됨을 입증한다.
• 최적의 타임스텝 스케줄이 아닌 경우 DPM-Solver++ 대비 최대 40% 빠른 가속도를 달성하여 뛰어난 내성적 안정성을 보여준다.
• DeepFloyd IF-I-XL 모델에서 단일 단계 RES는 25개의 NFE에서 다단계 방법보다 높은 품질의 64×64 이미지를 생성한다.
• IF-II-L에서의 계단식 추론 시, 단일 단계 RES는 낮은 NFE에서도 다단계 기준보다 더 높은 품질의 256×256 이미지를 생성한다.
• 제안된 방법은 노이즈 예측 및 데이터 예측 공식화 방식을 포함한 다양한 모델과 설정에서 일반화 가능하며, FID와 시각적 품질 측면에서 일관된 성능 향상을 보인다.