[논문 리뷰] A Survey on Diffusion Models for Inverse Problems

Giannis Daras, Hyungjin Chung외 6명|arXiv (Cornell University)|2024. 09. 30.

Advanced Mathematical Modeling in Engineering인용 수 8

한 줄 요약

재학습 없이 역문제 해결을 위한 무감독 priors 로서의 사전 학습된 확산 모델 사용에 대한 포괄적 고찰, 분류 체계, 연결성, 그리고 도전 과제를 포함한다.

ABSTRACT

Diffusion models have become increasingly popular for generative modeling due to their ability to generate high-quality samples. This has unlocked exciting new possibilities for solving inverse problems, especially in image restoration and reconstruction, by treating diffusion models as unsupervised priors. This survey provides a comprehensive overview of methods that utilize pre-trained diffusion models to solve inverse problems without requiring further training. We introduce taxonomies to categorize these methods based on both the problems they address and the techniques they employ. We analyze the connections between different approaches, offering insights into their practical implementation and highlighting important considerations. We further discuss specific challenges and potential solutions associated with using latent diffusion models for inverse problems. This work aims to be a valuable resource for those interested in learning about the intersection of diffusion models and inverse problems.

연구 동기 및 목표

• 다양한 도메인에 걸친 역문제를 통일된 수학적 설정으로 동기 부여하고 형식화한다.
• 사전 학습된 확산 모델이 재학습 없이 역문제 해결의 priors로 작용하는 방식을 검토한다.
• 방법을 문제 유형과 기법별로 분류하기 위한 분류 체계를 도입한다.
• 접근 방식 간의 연결을 분석하고 실용적 구현 고려사항을 논의한다.
• 잠재 확산 모델과 관련된 문제를 포함하여 도전과 잠재적 해결책을 강조한다.

제안 방법

• 확산 모델의 기본 개념(전방 프로세스와 역방 프로세스, 스코어 함수, Tweedie’s formula)을 설명한다.
• 확산 기반 역문제 해법자의 분류 체계(명시적 스코어 근사, 변분/추론, CSGM형, 점근적으로 정확한 방식)를 제시한다.
• 조건부 샘플링과 비조건부 샘플링 및 측정 항이 베이즈 규칙을 통해 어떻게 포함되는지에 대해 논의한다.
• 고차원 데이터에 대한 잠재 확산과 잠재 공간 고려사항을 설명한다.
• 손상되거나 노이즈가 있는 측정으로부터의 주변 확산 및 스코어 기반 학습에 대해 요약한다.
• 조사된 방법에 대한 실용적 구현 및 코드 가용성에 대한 지침을 제공한다.

실험 결과

연구 질문

• RQ1 사전 학습된 비조건부 확산 모델을 재학습 없이 역문제 해결에 어떻게 활용할 수 있는가?
• RQ2 확산 기반 역문제 해법자의 주요 계보는 무엇이며 방법론과 적용 가능성 측면에서 어떻게 다른가?
• RQ3 조건화, 지연(latency), 잠재 공간 문제를 포함하여 역문제에 확산 모델을 사용할 때의 실용적 도전과제는 무엇인가?
• RQ4 원칙적으로, 잠재적으로 비조건부 프레임워크일 수 있는 방식으로 측정 정확도 용어를 확산 기반 재구성에 어떻게 도입할 수 있는가?
• RQ5 샘플링 기반 포스트에 대한 추정과 결정적 확산 기반 재구성 간의 트레이드오프는 실전에서 어떻게 나타나는가?

주요 결과

• 확산 기반 역문제 해법자의 네 가지 주요 계보가 존재한다: 명시적 스코어 근사, 변분/최적화 형태, CSGM형 잠재 공간 최적화, 그리고 점근적으로 정확한 샘플링 방식.
• 확산 모델은 무감독 스코어를 측정항과 결합하기 위해 베이즈 규칙을 활용함으로써 재학습 없이 역문제를 해결할 수 있게 하지만, 측정 항은 시간에 따라 달라지거나 계산이 어렵다.
• 잠재 확산 및 잠재 공간 접근은 계산 부담을 줄이지만 역문제에 대한 특별한 처리가 필요하다.
• 주변 확산 및 관련 접근법은 깨끗한 데이터가 부족하거나 얻기 비용이 많이 들 때 유용한 priors 를 학습하는 방법을 보여준다.
• 이 고찰은 체계적인 분류를 제공하고 서로 다른 방법을 연결하며, 구현에 대한 실용적 통찰과 코드 연결 참조를 제공한다.