[논문 리뷰] Wavelet Score-Based Generative Modeling

Florentin Guth, Simon Coste외 2명|arXiv (Cornell University)|2022. 08. 09.

Neural Networks and Applications인용 수 10

한 줄 요약

이 논문은 다중 척도에서 정규화된 웨이블릿 계수의 조건부 확률로 데이터 분포를 인과적으로 분해함으로써 스코어 기반 생성 모델의 계산 속도를 향상시키는 웨이블릿 스코어 기반 생성 모델(WSGM)을 제안한다. 모든 척도에서 동일한 시간 이산화 스케줄을 적용함으로써 WSGM는 이미지 크기와 선형적인 시간 복잡도를 달성하여 샘플링 비용을 크게 감소시키면서도 자연 이미지 및 상전이 상태에서의 물리적 과정에서도 높은 품질의 생성을 유지한다.

ABSTRACT

Score-based generative models (SGMs) synthesize new data samples from Gaussian white noise by running a time-reversed Stochastic Differential Equation (SDE) whose drift coefficient depends on some probabilistic score. The discretization of such SDEs typically requires a large number of time steps and hence a high computational cost. This is because of ill-conditioning properties of the score that we analyze mathematically. We show that SGMs can be considerably accelerated, by factorizing the data distribution into a product of conditional probabilities of wavelet coefficients across scales. The resulting Wavelet Score-based Generative Model (WSGM) synthesizes wavelet coefficients with the same number of time steps at all scales, and its time complexity therefore grows linearly with the image size. This is proved mathematically over Gaussian distributions, and shown numerically over physical processes at phase transition and natural image datasets.

연구 동기 및 목표

• 스코어 기반 생성 모델(SGM)의 높은 계산 비용 문제를 해결하기 위해, 악조건의 스코어로 인해 수천 번의 시간 단계가 필요로 하는 문제를 다루기 위해.
• 자연 이미지 및 물리적 과정의 다중 척도 구조를 활용하여 샘플링 효율을 향상시키기 위해.
• 이미지 크기에 관계없이 모든 척도에서 균일한 시간 이산화 스케줄을 적용할 수 있는 방법을 개발하기 위해.
• 웨이블릿 기반 분해가 샘플링 복잡도를 감소시키면서도 생성 품질을 유지함을 수학적으로 증명하고 수치적으로 검증하기 위해.

제안 방법

• 다양한 척도에서 정규화된 웨이블릿 계수의 조건부 확률 곱으로 데이터 분포를 인과적으로 분해하기 위해.
• 더 넓은 척도의 계수에 조건을 두어 각 척도의 웨이블릿 계수에 대해 독립적으로 스코어 기반 생성 모델링을 수행하기 위해.
• 모든 척도에서 동일한 시간 이산화 스케줄(예: 오일러-마루야마)을 적용하며, 픽셀당 고정된 수의 단계를 사용하기 위해.
• 모든 척도에서 일관된 스코어 추정과 안정적인 훈련을 보장하기 위해 웨이블릿 계수를 정규화하기 위해.
• 직교 웨이블릿 변환을 활용하여 장거리 및 단거리 상관관계를 가지는 다중 척도 성분으로 이미지를 분해하기 위해.
• 시간에 따라 변화하는 노이즈 스케줄을 사용한 노이즈 제거 스코어 매칭을 통해 조건부 및 무조건적 스코어 네트워크를 훈련하기 위해.

실험 결과

연구 질문

• RQ1 웨이블릿 기반 다중 척도 분해가 스코어 기반 생성에 필요한 시간 단계 수를 줄이면서도 샘플 품질을 손상시키지 않을 수 있는가?
• RQ2 모든 척도에 균일한 이산화 스케줄을 적용할 경우 이미지 크기와 선형적인 시간 복잡도가 달성되는가?
• RQ3 웨이블릿 계수의 정규화가 스코어 함수의 조건수와 샘플링 효율성에 어떤 영향을 미치는가?
• RQ4 통계역학에서 상전이 상태의 복잡한 분포에 대해 WSGM는 얼마나 빠른 생성을 가능하게 하는가?
• RQ5 WSGM은 표준 SGM보다 훨씬 적은 샘플링 단계로 최신 기준 FID 점수를 달성할 수 있는가?

주요 결과

• WSGM은 이미지 크기와 선형적인 시간 복잡도를 달성하며, 해상도에 관계없이 픽셀당 샘플링 단계 수가 일정하게 유지된다.
• 표준 SGM과 비교해 이미지 크기 비례로 샘플링 비용을 감소시켜 해상도 증가에 따라 성능이 크게 열등해지는 문제를 완화한다.
• CelebA-HQ 데이터셋에서 WSGM는 기준 모델과 유사한 FID 점수를 달성하면서도 훨씬 적은 샘플링 단계를 사용한다.
• 상전이 상태에서의 φ⁴ 모델에서 WSGM는 각 척도에서 더 나은 조건의 스코어를 제공함으로써 수렴 속도 향상과 샘플링 효율성 향상을 보였다.
• 수학적 분석을 통해 웨이블릿 정규화가 스코어 함수의 헤시안 행렬을 안정화시켜 모든 척도에서 균일한 이산화를 가능하게 함을 증명하였다.
• 수치적 결과는 WSGM가 계산 비용을 극적으로 감소시키면서도 특히 큰 이미지에 대해 고해상도 생성 품질을 유지함을 확인하였다.