[논문 리뷰] Maximum Likelihood Training for Score-Based Diffusion ODEs by High-Order Denoising Score Matching

Cheng Lü, Kaiwen Zheng외 4명|arXiv (Cornell University)|2022. 06. 16.

Model Reduction and Neural Networks인용 수 11

한 줄 요약

이 논문은 점수 기반 확산 확률미분방정식(ScoreODEs)에서 최대우도 추정을 위해 고차수 노이즈 제거 점수 매칭을 제안한다. 이는 일阶 점수 매칭과 정확한 우도 최적화 사이의 격차를 해결한다. 일阶, 이阶, 삼계 점수 매칭 오차를 사용해 음의 로그우도를 경계함으로써, 높은 표본 품질을 유지하면서도 더 정확한 밀도 추정이 가능해지며, CIFAR-10 및 합성 데이터에서 더 나은 우도 성능을 달성한다.

ABSTRACT

Score-based generative models have excellent performance in terms of generation quality and likelihood. They model the data distribution by matching a parameterized score network with first-order data score functions. The score network can be used to define an ODE ("score-based diffusion ODE") for exact likelihood evaluation. However, the relationship between the likelihood of the ODE and the score matching objective is unclear. In this work, we prove that matching the first-order score is not sufficient to maximize the likelihood of the ODE, by showing a gap between the maximum likelihood and score matching objectives. To fill up this gap, we show that the negative likelihood of the ODE can be bounded by controlling the first, second, and third-order score matching errors; and we further present a novel high-order denoising score matching method to enable maximum likelihood training of score-based diffusion ODEs. Our algorithm guarantees that the higher-order matching error is bounded by the training error and the lower-order errors. We empirically observe that by high-order score matching, score-based diffusion ODEs achieve better likelihood on both synthetic data and CIFAR-10, while retaining the high generation quality.

연구 동기 및 목표

• ScoreODEs에서 일阶 점수 매칭과 최대우도 학습 사이의 근본적 격차를 규명하는 것.
• 일阶, 이阶, 삼계 점수 매칭 오차를 사용해 ScoreODEs의 음의 로그우도에 이론적 경계를 설정하는 것.
• 고차수 근사 오차가 유계임을 보장하는 새로운 고차수 노이즈 제거 점수 매칭 알고리즘을 개발하는 것.
• 고차수 학습이 표본 생성 품질을 유지하면서도 우도를 향상시킴을 경험적으로 검증하는 것.
• 특히 더 큰 평가 시간 단계에서, 합성 다중 정규분포 및 CIFAR-10에서 개선된 우도 성능을 입증하는 것.

제안 방법

• 데이터와 ScoreODE 분포 간의 KL 발산의 등가 형태를 유도하여, 일阶 점수 매칭과 최대우도 간의 괴리 현상을 드러내는 것.
• 일阶, 이阶, 삼계 점수 매칭 오차의 함수로 ScoreODEs의 음의 로그우도에 대한 상한을 설정하는 것.
• 상한을 최소화함으로써 고차수 오차가 유계임을 보장하는 고차수 노이즈 제거 점수 매칭 목적함수를 제안하는 것.
• 고차수 매칭 오차가 학습 오차와 저차수 오차에 의해 제어됨을 보장하는 학습 알고리즘을 설계하는 것.
• CIFAR-10과 같은 고차원 데이터에서의 실용적 학습을 위해 스케일업 기법을 구현하는 것.
• ODE 해법기와 몬테카를로 샘플링을 사용해 ODE 점수 함수와 예측된 점수와 진짜 점수 간의 차이를 평가하는 것.

실험 결과

연구 질문

• RQ1 일阶 점수 매칭은 표본 품질이 좋음에도 불구하고 ScoreODEs의 우도를 최대화하지 못하는 이유는 무엇인가?
• RQ2 고차수 점수 매칭 오차를 사용해 ScoreODEs의 음의 로그우도를 경계할 수 있는가?
• RQ3 유계 고차수 점수 매칭 오차를 보장하는 학습 목표를 설계할 수 있는가?
• RQ4 고차수 점수 매칭은 합성 및 실세계 데이터 분포에서 모두 우도를 향상시키는가?
• RQ5 향상된 점수 모델은 PC 샘플러와 같은 표준 샘플링 방법을 사용해도 여전히 고품질의 표본을 생성할 수 있는가?

주요 결과

• 일阶 점수 매칭은 간단한 1차원 정규분포 혼합에서 진짜 데이터 밀도를 추정하지 못하며, 특히 밀도가 낮은 영역(예: x = -0.25)에서 그러한 문제가 두드러진다.
• 제안된 삼계 노이즈 제거 점수 매칭은 특히 큰 평가 시작 시간(예: ε = 10⁻³)에서 CIFAR-10에서 우도 성능을 크게 향상시킨다. 이 경우 일阶 학습은 성능이 열 劣하다.
• 대부분의 시간 단계에서 ℓ_diff(t) — 예측된 점수와 진짜 점수 간의 차이를 측정하는 지표 — 가 감소하여 더 나은 점수 추정을 나타낸다.
• VP 유형의 ScoreODEs에서의 유계가 아닌 점수 문제로 인해 매우 작은 ε에서 우도 향상이 제한되지만, 중간 크기의 ε에서는 여전히 일阶 학습보다 성능이 뛰어나다.
• 향상된 우도에도 불구하고 고차수 모델에서 생성된 표본은 일阶 모델과 시각적으로 구분되지 않아 표본 품질이 유지됨을 확인한다.
• 샘플링 절차를 수정하지 않음에도 불구하고 더 나은 우도 성능을 달성하여, 존재하는 점수 기반 생성 모델 파ip라인과의 호환성을 입증한다.