[논문 리뷰] Diffusion Models: A Comprehensive Survey of Methods and Applications

L. Yang, Zhilong Zhang외 7명|arXiv (Cornell University)|2022. 09. 02.

Mathematical Biology Tumor Growth인용 수 150

한 줄 요약

확산 모델에 대한 포괄적 연구로, 기초, 효율적 샘플링, 우도 개선, 특수 구조 데이터를 처리하는 방법을 체계적으로 정리하고, 다른 생성 모델과의 연결 및 광범위한 응용까지 조사한다.

ABSTRACT

Diffusion models have emerged as a powerful new family of deep generative models with record-breaking performance in many applications, including image synthesis, video generation, and molecule design. In this survey, we provide an overview of the rapidly expanding body of work on diffusion models, categorizing the research into three key areas: efficient sampling, improved likelihood estimation, and handling data with special structures. We also discuss the potential for combining diffusion models with other generative models for enhanced results. We further review the wide-ranging applications of diffusion models in fields spanning from computer vision, natural language generation, temporal data modeling, to interdisciplinary applications in other scientific disciplines. This survey aims to provide a contextualized, in-depth look at the state of diffusion models, identifying the key areas of focus and pointing to potential areas for further exploration. Github: https://github.com/YangLing0818/Diffusion-Models-Papers-Survey-Taxonomy.

연구 동기 및 목표

• 확산 모델의 기초(DDPMs, SGMs, Score SDEs)와 그 연결성에 대한 구조적 개요를 제공한다.
• 최근 연구를 효율적 샘플링, 개선된 우도, 특수 구조 데이터를 다루는 방법으로 분류한다.
• 확산 모델이 다른 생성 모델(VAEs, GANs, normalizing flows, autoregressive, EBMs)과 어떻게 결합되는지 검토한다.
• 비전, NLP, 시계열 데이터, 다중 모달 작업, 그리고 학제간 영역에서의 광범위한 응용을 조사한다.]
• method([
• method?

제안 방법

• 세 가지 주요 공식화인 DDPMs, SGMs, Score SDEs와 그것들의 통합 관점을 설명한다.
• 변분 하한(VLB)과 스코어 매칭 목표를 통한 학습을 설명한다.
• Annealed Langevin dynamics, SDE/ODE 풀이기, 및 predictor-corrector 스킴을 포함한 샘플링 방법을 논의한다.
• 노이즈 스케줄 설계, 역 분산 학습, 정확한 우도 고려사항과 같은 최적화 기법을 제시한다.
• 학습 없는 샘플링과 학습 기반 샘플링(이산화, 증류, 잘린 확산)을 포함한 효율적 샘플링 범주를 개요로 제시한다.
• VAEs, GANs, normalizing flows, autoregressive 모델, EBM과의 연결을 요약한다.

실험 결과

연구 질문

• RQ1 확산 모델의 기초적 공식화는 무엇이며 이것들이 어떻게 관련되는가(DDPMs, SGMs, Score SDEs)?
• RQ2 품질을 희생하지 않으면서 속도와 샘플 효율성을 어떻게 높일 수 있는가?
• RQ3 확산 모델을 우도 추정 향상 및 특수 구조 데이터(이산, 매니폴드, 불변)를 다루도록 어떻게 적응시킬 수 있는가?
• RQ4 확산 모델은 다른 생성 모델 계열(VAEs, GANs, flows, autoregressive, EBMs)과의 연결 및 활용에서 어떤 이점을 가지는가?
• RQ5 확산 모델이 가장 큰 영향을 미치고 향후 방향이 잠재한 광범위한 응용 분야는 무엇인가?

주요 결과

• 확산 모델은 이미지 합성 분야에서 최첨단으로 부상했으며 비디오, 분자 및 다른 영역에서도 가능성을 보인다.
• 본 조사는 효율적 샘플링, 개선된 우도, 특수 구조 데이터를 다루는 방법으로 진보를 분류한다.
• 다른 생성 모델과 결합해 더 강력한 성능을 달성할 수 있는 가능성이 있다.
• 이 논문은 컴퓨터 비전에서 자연어 처리, 시계열 데이터, 학제간 분야에 이르는 다양한 응용을 폭넓게 다룬다.
• DDPMs, SGMs, Score SDEs가 공통 확산 프레임워크 아래에서 서로 상호 변환될 수 있음을 보여주는 통합적 관점을 제공한다.