[논문 리뷰] Generative Modelling With Inverse Heat Dissipation

Severi Rissanen, Markus Heinonen외 1명|arXiv (Cornell University)|2022. 06. 21.

Generative Adversarial Networks and Image Synthesis인용 수 11

한 줄 요약

이 논문은 열 방정식을 역으로 푸는 방식으로 고해상도 세부 정보를 조악한 평균 표현에서 확률적으로 복원함으로써 이미지를 생성하는 새로운 확산 유사 생성 모델인 역열확산모델(IHDM)을 제안한다. 이 모델은 스펙트럼 분석과 노이즈가 포함된 열방정식의 변분 추론 해석을 통해 이미지의 내재적 다중 척도 구조를 활용함으로써 색상과 형태의 분리된 생성, 부드러운 보간, 향상된 데이터 효율성을 달성한다.

ABSTRACT

While diffusion models have shown great success in image generation, their noise-inverting generative process does not explicitly consider the structure of images, such as their inherent multi-scale nature. Inspired by diffusion models and the empirical success of coarse-to-fine modelling, we propose a new diffusion-like model that generates images through stochastically reversing the heat equation, a PDE that locally erases fine-scale information when run over the 2D plane of the image. We interpret the solution of the forward heat equation with constant additive noise as a variational approximation in the diffusion latent variable model. Our new model shows emergent qualitative properties not seen in standard diffusion models, such as disentanglement of overall colour and shape in images. Spectral analysis on natural images highlights connections to diffusion models and reveals an implicit coarse-to-fine inductive bias in them.

연구 동기 및 목표

• 표준 확산 모델이 자연 이미지의 계층적 구조를 명시적으로 모델링하지 않기 때문에 발생하는 다중 척도 유도적 편향의 부족을 해결하기 위해.
• 자연스럽게 세밀한 세부 사항을 제거하는 편미분방정식(PDE)인 열방정식을 역으로 푸는 것이, 잠재적인 분리성과 부드러움을 갖는 원리적인 생성 과정이 될 수 있는지 탐구하기 위해.
• 앞서 진행된 열과정이 학습된 생성 함수의 단순성을 유도하는 방식을 탐색하고, 이로 인해 데이터 효율성이 향상될 수 있는지 살펴보기 위해.
• 자연 이미지의 스펙트럼 분석을 통해 표준 확산 모델에 암묵적으로 내재된 조악한 것에서 고해상도로의 유도적 편향을 드러내기 위해.
• 역열과정이 고품질의 다양성 있는 이미지를 생성하면서도 색상과 형태와 같은 이미지 속성의 제어 가능한 분리 조작이 가능한지 입증하기 위해.

제안 방법

• 전진 과정은 열방정식 ∂u/∂t = Δu를 사용하여 이미지 데이터를 점차로 부드럽게 하고 평균화함으로써 시간이 지남에 따라 낮은 차원의 조악한 표현으로 투영한다.
• 역과정은 변분 추론 프레임워크를 이용해 열방정식을 확률적으로 뒤집는다. 여기서 작은 덧셈 노이즈가 있는 해는 잠재변수 모델에서 근사 사후분포로 해석된다.
• 학습 데이터 기반의 커널 밀도 추정을 사용하여 조악하고 평균화된 이미지 위의 사전분포를 모델링함으로써 효율적인 샘플링을 가능하게 한다.
• 계산 효율성을 위해 라플라스 연산자의 고유기저에서 역열 연산자를 적용하는 수치적 방법을 통해 생성 과정을 구현한다.
• 불안정한 역문제를 안정화하기 위해 역과정 중에 샘플링 노이즈를 도입하며, 이에 대한 기본값은 모든 데이터셋에서 δ = 1.25 × σ이다.
• 샘플링 노이즈를 고정하고 초기 조악한 이미지 사전분포만을 변화시킴으로써 색상과 형태의 독립적 제어가 가능한 색상과 형태의 분리가 달성된다.

실험 결과

연구 질문

• RQ1 열방정식을 뒤집는 것이 자연 이미지의 다중 척도 특성을 잘 반영하는 원리적인, 미분 가능한 생성 과정이 될 수 있는가?
• RQ2 역열확산 과정이 색상과 형태와 같은 전반적인 이미지 속성의 잠재적 분리성을 유도하는가?
• RQ3 자연 이미지의 스펙트럼 구조는 표준 확산 모델의 유도적 편향과 어떻게 관련되어 있으며, 이는 제안된 IHDM와 어떻게 다를까?
• RQ4 전진 열과정이 생성 모델이 학습해야 할 함수의 단순성을 얼마나 유도하는가? 그리고 이는 데이터 효율성에 어떤 영향을 미치는가?
• RQ5 IHDM은 고해상도의 품질 높은 이미지 생성과 함께 색상과 형태와 같은 이미지 속성의 제어 가능한 분리 조작을 달성할 수 있는가?

주요 결과

• 샘플링 노이즈를 고정하고 초기 조악한 사전분포만을 조작함으로써 IHDM은 전체 색상과 이미지 형태의 분리된 생성을 달성하며, 제어 가능한 속성 편집이 가능함을 입증하였다.
• 모델은 생성된 샘플 간에 부드러운 보간을 보이며, 연속적인 전이를 보이는 잘 조율된 잠재공간을 나타낸다.
• 자연 이미지의 스펙트럼 분석을 통해 표준 확산 모델은 암묵적으로 어떤 형태의 조악한 것에서 고해상도로의 생성을 수행하지만, IHDM와 달리 열방정식을 통한 척도공간의 명시적 모델링이 없어 다른 유도적 편향을 가진다.
• 전진 열과정은 생성 함수의 단순성을 유도하며, 이는 제한된 데이터로도 효과적인 매핑을 학습할 수 있음을 보여주어 데이터 효율성 향상 잠재력을 시사한다.
• MNIST 데이터셋에서는 결정론적 샘플링(δ = 0)에서도 모델이 잘 작동함을 확인하였으며, 높은 노이즈 수준은 점차 결과를 악화시키므로 최적의 노이즈 스케줄링의 중요성을 확인하였다.
• IHDM에서 생성된 샘플은 일반적으로 표준 확산 모델보다 훈련 데이터와 유클리드 거리에서 더 가까운 경향이 있어, 훈련 분포의 구조를 더 충실하게 재구성하고 있음을 시사한다.