[논문 리뷰] Pyramidal Denoising Diffusion Probabilistic Models

Dohoon Ryu, Jong Chul Ye|arXiv (Cornell University)|2022. 08. 03.

Image and Signal Denoising Methods인용 수 10

한 줄 요약

이 논문은 위치 임bedding으로 조건화된 단일 스코어 함수를 사용하여 군집형 입력에서 고해상도 이미지를 생성하는 피라미드형 노이즈 제거 확률적 모델을 제안한다. 다중 해상도 훈련과 위치 인코딩을 활용함으로써, 복수의 모델을 훈련할 필요 없이 효율적이고 고정밀도의 이미지 생성 및 초해상도를 가능하게 하며, 계산 비용을 감소시켜 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recently, diffusion model have demonstrated impressive image generation performances, and have been extensively studied in various computer vision tasks. Unfortunately, training and evaluating diffusion models consume a lot of time and computational resources. To address this problem, here we present a novel pyramidal diffusion model that can generate high resolution images starting from much coarser resolution images using a {\em single} score function trained with a positional embedding. This enables a neural network to be much lighter and also enables time-efficient image generation without compromising its performances. Furthermore, we show that the proposed approach can be also efficiently used for multi-scale super-resolution problem using a single score function.

연구 동기 및 목표

• 이미지 생성 및 초해상도 분야에서 확산 모델의 높은 계산 비용과 느린 추론 속도 문제를 해결하기 위해.
• 단일 경량 스코어 네트워크를 사용하여 군집형에서 고해상도로의 이미지 생성을 가능하게 하기 위해.
• 각 해상도별로 복수의 확산 모델을 훈련할 필요 없이 위치 조건화를 도입함으로써 제거하기 위해.
• 다양한 해상도 간에 통합된 스코어 함수를 사용하여 다중 해상도 초해상도 성능을 향상시키기 위해.
• 전체 해상도 데이터 없이도 저해상도 패치에서의 패치 기반 훈련이 매우 고해상도 이미지(예: 1024×1024) 생성을 가능하게 함을 입증하기 위해.

제안 방법

• 모델는 다양한 입력 및 출력 해상도를 처리하기 위해 위치 임베딩을 조건 입력으로 사용하는 단일 스코어 네트워크를 훈련한다.
• 좌표 위치에 위치 인코딩을 적용하고, 사인 및 코시함수를 통해 임베딩하며, 다중 해상도 조건화를 위해 다수의 채널으로 확장한다.
• 훈련 중에 입력 이미지는 목표 해상도로 무작위로 리사이징되며, 해당 위치 임베딩은 잠재 특징과 연결된다.
• 역확산 과정은 노이즈에서 시작하여 점차 증가하는 해상도에서 단계적으로 노이즈를 제거하는 군집형에서 고해상도로의 정밀 조정 전략을 적용한다.
• 이 방법은 다양한 크기의 패치(예: 256×256, 512×512)에서의 엔드 투 엔드 훈련을 지원하여 추론 시 더 높은 해상도로의 일반화를 가능하게 한다.
• 모든 해상도 단계에서 효율적인 샘플링을 위해 CCDF 가속 기법을 프레임워크에 통합한다.

실험 결과

연구 질문

• RQ1 재훈련 없이도 단일 스코어 함수가 다중 해상도에서 이미지를 생성할 수 있는가?
• RQ2 위치 임베딩에 조건화된 모델이 정확한 다중 해상도 이미지 생성 및 초해상도를 가능하게 하는가?
• RQ3 저해상도 이미지의 패치 기반 훈련이 전체 해상도 데이터 없이도 고해상도 이미지 생성(예: 1024×1024)을 가능하게 하는가?
• RQ4 위치 인코딩의 부재가 다양한 해상도에서의 생성 품질에 어떤 영향을 미치는가?
• RQ5 확산 기반 이미지 복원에서 피라미드형 초해상도의 성능 향상은 직접 업스케일링 대비 얼마나 뛰어난가?

주요 결과

• 제안된 방법은 FFHQ에서 ×4 초해상도에서 Fréchet Inception Distance(FID) 66.80을 달성하여 이중선형 보간법과 SR3를 능가했으며, ILVR 및 SRGAN과 같은 최신 기술 수준의 방법과 동등하거나 슈퍼어리어를 기록했다.
• AFHQ-Dog에서 ×8 초해상도에서 FID 33.14를 기록하여 SR3(35.09)와 ILVR(37.39)를 모두 능가했다.
• 절단 실험 결과, 위치 인코딩을 제거할 경우 얼굴 기능의 비일치 및 다수의 눈과 같은 심각한 아티팩트가 발생하여 공간 일관성 유지를 위한 핵심적 역할을 확인했다.
• 모든 중간 단계(32→64→128→256)를 포함한 피라미드형 초해상도가 FFHQ에서 FID 66.80을 기록하여 직접 업스케일링(32→256)의 FID 72.78보다 뛰어난 성능을 보였다.
• 전체 해상도 데이터를 한 번도 접하지 않은 채, 256×256 및 512×512 패치에서만 훈련된 스코어 네트워크로도 1024×1024 이미지를 성공적으로 생성했다.
• 모델는 FFHQ에서 LPIPS 0.289, AFHQ에서 ×8 초해상도에서 SSIM 0.725를 기록하여 다양한 해상도에서 높은 지각 품질과 구조적 정밀도를 유지함을 확인했으며, 이는 스케일 간 강건성을 입증한다.