[논문 리뷰] On tuning consistent annealed sampling for denoising score matching

Joan Serrà, Santiago Pascual외 1명|arXiv (Cornell University)|2021. 04. 08.

Music and Audio Processing참고 문헌 11인용 수 5

한 줄 요약

이 논문은 스코어 기반 생성 모델에서 일관된 냉각 샘플링(CAS)을 위한 재매arameter화된 초파rameter 설정을 제안하며, 다양한 단계 수에서 안정적이고 조절 가능한 샘플링을 가능하게 한다. $\epsilon_c$를 통해 단계 크기를 매개변수화함으로써 $\eta = 1 - \gamma^{\epsilon_c}$가 되도록 하여, 샘플링 단계 수 $N$과 무관하게 유한한 단계 크기를 보장함으로써, 다양한 계산 예산에서도 안정성과 성능을 향상시키면서도 기존의 표준 샘플링 기법들과의 일관성을 유지한다.

ABSTRACT

Score-based generative models provide state-of-the-art quality for image and audio synthesis. Sampling from these models is performed iteratively, typically employing a discretized series of noise levels and a predefined scheme. In this note, we first overview three common sampling schemes for models trained with denoising score matching. Next, we focus on one of them, consistent annealed sampling, and study its hyper-parameter boundaries. We then highlight a possible formulation of such hyper-parameter that explicitly considers those boundaries and facilitates tuning when using few or a variable number of steps. Finally, we highlight some connections of the formulation with other sampling schemes.

연구 동기 및 목표

• 적은 수 또는 가변적인 수의 샘플링 단계를 사용할 때 일관된 냉각 샘플링(CAS)에서 초파라미터의 불안정성과 낮은 일반화 능력을 해결하기 위해.
• 단계 크기 초파라미터 $\epsilon_b$ 가 단계 수 $N$에 의존하는 문제를 해결하기 위해, 물리적 및 수치적 경계를 명시적으로 고려하는 재매개변수화를 도입하기 위해.
• 초파라미터 조정을 $N$에서 분리하여 다양한 계산 예산에서도 안정적이고 고성능의 샘플링을 가능하게 하기 위해.
• 통합된 초파라미터 설정을 통해 CAS와 ALS, 예측자-수정자(PC) 방법과 같은 다른 샘플링 기법들 간의 관계를 수립하기 위해.

제안 방법

• 단계 크기 $\eta = \epsilon_b / \sigma_N^2$ 를 $\eta = 1 - \gamma^{\epsilon_c}$ 로 재매개변수화하며, 여기서 $\gamma$ 는 노이즈 수준의 기하급수적 증가 요소이고 $\epsilon_c$ 는 새로운 초파라미터이다.
• 수치적 안정성을 확보하기 위해 $\eta$ 의 범위를 유도한다: $1 - \gamma \leq \eta \leq 1$ 이며, 이는 신규 설정에 의해 유지된다.
• $\epsilon_c$ 를 단계 크기의 노이즈 스케줄에 상대적으로 제어할 수 있는 조절 가능한 초파라미터로 도입하여, 다양한 $N$ 에서도 일관된 동작을 가능하게 한다.
• 특정 $\epsilon_c$ 값이 기존의 알려진 샘플링 기법을 복원함을 입증한다: $\epsilon_c = 2$ 는 ALS와 유사한 형태와 PC의 예측자 단계를 거의 복원하며, $\epsilon_c = 1$ 은 결정론적 노이즈 제거 재귀를 유도하고, $\epsilon_c \to \infty$ 는 순수한 노이즈 추가 기법을 유도한다.
• 최종 단계에서의 예측된 복원 샘플 $H(\mathbf{x}, \sigma) = \mathbf{x} + \sigma^2 s_\theta(\mathbf{x}, \sigma)$ 를 사용하여 샘플 품질을 향상시킨다.
• 실증적으로 음성 합성 모델에서 이 방법을 검증하여, $\epsilon_c$ 가 다양한 $N$ 에서 $\epsilon_b$ 보다 더 안정적이고 일반화 능력이 뛰어나다는 것을 보여준다.

실험 결과

연구 질문

• RQ1 일관된 냉각 샘플링(CAS)에서 초파라미터 $\epsilon_b$ 는 어떻게 재매개변수화되어야 하며, 이는 다양한 수의 샘플링 단계에서 안정성을 보장할 수 있는가?
• RQ2 CAS에서 수치적 및 물리적 일관성을 유지하기 위해 단계 크기 $\eta$ 에 가해지는 조건은 무엇인가?
• RQ3 제안된 설정 $\eta = 1 - \gamma^{\epsilon_c}$ 는 ALS 및 예측자-수정자(PC) 방법과 같은 기존 샘플링 기법들과 어떻게 관련이 있는가?
• RQ4 단일 초파라미터 $\epsilon_c$ 가 재조정 없이 다양한 계산 예산에서 안정적이고 고성능의 샘플링을 가능하게 할 수 있는가?
• RQ5 CAS에서 최종 노이즈 제거 단계 $H(\mathbf{x}, \sigma)$ 는 샘플 품질에 어떤 영향을 미치는가?

주요 결과

• 제안된 설정 $\eta = 1 - \gamma^{\epsilon_c}$ 는 모든 $N$ 에 대해 안정적인 범위인 $1 - \gamma \leq \eta \leq 1$ 내에서 단계 크기가 유지됨을 보장하여 수치적 불안정성을 방지한다.
• $\epsilon_c$ 를 조정하는 것이 $\epsilon_b$ 를 조정하는 것보다 다양한 샘플링 단계 수 $N$ 에서 더 안정적이고 일반화 능력이 뛰어나며, $\epsilon_b$ 는 각 $N$ 에 대해 재최적화가 필요하다.
• $\epsilon_c = 2$ 인 경우, CAS 재귀는 냉각 랑주비안 샘플링(Als)과 PC 기법의 예측자 단계와 거의 동일한 형태를 가지며, 노이즈 항의 비율 차이 외에는 유사하다.
• $\epsilon_c = 1$ 인 경우 순수한 결정론적 노이즈 제거 재귀에 해당하고, $\epsilon_c \to \infty$ 는 완전한 노이즈 주입을 포함하는 순수한 확률적 업데이트에 해당한다.
• 실증 결과에 따르면 $\epsilon_c$ 를 사용한 샘플링은 작은 $N$ 에서도 안정적이고 높은 품질을 유지하는 반면, $\epsilon_b$ 기반 조정은 작은 $N$ 에서 성능이 붕괴된다.
• 이 설정은 광범위한 $N$ 에 걸쳐 일관된 성능을 보이며, 여러 $\epsilon_c$ 값에서 양호한 작동 지점을 확보함으로써 강건성과 일반화 능력을 입증한다.