[논문 리뷰] Annealed Denoising Score Matching: Learning Energy-Based Models in High-Dimensional Spaces

Zengyi Li, Yubei Chen외 1명|arXiv (Cornell University)|2019. 09. 25.

Generative Adversarial Networks and Image Synthesis참고 문헌 49인용 수 14

한 줄 요약

이 논문은 에너지 기반 모델을 위한 새로운 학습 방법인 안네일드 디노이징 스코어 매칭(ADSM)을 제안한다. 이 방법은 다중 노이즈 스케일에서 스코어를 매칭함으로써 에너지 함수를 학습한다. 안네일드 랑주비안 역학과 다중 스케일 디노이징을 결합함으로써, 무작위 초기화 상태에서 고해상도 샘플 생성이 가능해지며, 고차원 데이터셋에서 최신 기술 수준의 샘플 품질을 달성하고 EBM 기반 합성의 새로운 기준을 설정한다.

ABSTRACT

Energy-Based Models (EBMs) outputs unmormalized log-probability values given data samples. Such an estimation is essential in a variety of applications such as sample generation, denoising, sample restoration, outlier detection, Bayesian reasoning, and many more. However, standard maximum likelihood training is computationally expensive due to the requirement of sampling the model distribution. Score matching potentially alleviates this problem, and denoising score matching is a particularly convenient version. However, previous works do not produce models capable of high quality sample synthesis in high dimensional datasets from random initialization. We believe that is because the score is only matched over a single noise scale, which corresponds to a small set in high-dimensional space. To overcome this limitation, here we instead learn an energy function using denoising score matching over all noise scales. When sampled from random initialization using Annealed Langevin Dynamics and single-step denoising jump, our model produced high-quality samples comparable to state-of-the-art techniques such as GANs. The learned model also provide density information and set a new sample quality baseline in energy-based models. We further demonstrate that the proposed method generalizes well with an image inpainting task.

연구 동기 및 목표

• 기존의 디노이징 스코어 매칭 방법이 단일 노이즈 스케일에서만 스코어를 매칭하여 고차원 공간에서 낮은 샘플 품질을 유도하는 한계를 해결하기 위해.
• 에너지 기반 모델을 사용하여 고차원 데이터셋에서 무작위 초기화 상태에서도 고해상도 샘플 합성을 가능하게 하기 위해.
• 이식 가능한 작업(예: 이미지 인painting)에 잘 일반화되는 학습 절차를 개발하기 위해.
• 스코어 매칭의 이점을 밀도 추정과 함께 통합하고 샘플 품질을 향상시키는 방법을 제공하기 위해.

제안 방법

• 이 방법은 단일 노이즈 스케일에서의 디노이징 스코어 매칭을 다중 노이즈 스케일으로 확장하여, 다양한 노이즈 수준 범위에서 기대 스코어 매칭 손실을 최소화함으로써 에너지 함수를 학습한다.
• 샘플링을 위해 안네일드 랑주비안 역학을 활용하여 샘플링 과정 내내 점차적으로 노이즈 수준을 감소시켜 수렴성과 샘플 품질을 향상시킨다.
• 수렴 속도를 높이고 샘플링 효율을 향상시키기 위해 단일 단계의 디노이징 점프를 도입한다.
• 단일 노이즈 수준에서가 아니라 연속적인 노이즈 분산 범위 전반에서 스코어를 매칭하기 위해 다중 스케일 노이즈 스케줄을 사용하여 모델을 훈련시킨다.
• 훈련 중에 노이즈 수준의 분포를 고려한 재가중 손실을 통해 에너지 함수를 최적화한다.

실험 결과

연구 질문

• RQ1 다중 노이즈 스케일에서의 디노이징 스코어 매칭이 고차원 에너지 기반 모델의 샘플 품질을 향상시킬 수 있는가?
• RQ2 다중 스케일 디노이징을 통한 안네일드 랑주비안 역학이 무작위 초기화 상태에서 고해상도 생성을 가능하게 하는가?
• RQ3 제안된 방법이 GAN과 같은 최신 기술 수준의 생성 모델과 경쟁 가능한 샘플 품질을 달성할 수 있는가?
• RQ4 이 모델은 이미지 인painting과 같은 후행 작업에 얼마나 잘 일반화되는가?

주요 결과

• 제안된 방법은 고차원 데이터셋에서 최신 기술 수준의 GAN 기반 방법과 비교할 만한 고해상도 샘플 생성을 달성한다.
• 무작위 가중치로 초기화된 상태에서도 모델이 고품질 샘플을 생성함으로써 안정적인 학습 동역학을 보여준다.
• 학습된 에너지 함수는 정확한 밀도 추정을 제공하여 생성 외 응용 분야(예: 이방성 탐지 및 베이지안 추론)에 활용 가능하다.
• 이 방법은 이미지 인painting에 잘 일반화되어 있으며, 이 조건부 생성 작업에서 뛰어난 성능을 보였다.