[논문 리뷰] Patched Denoising Diffusion Models For High-Resolution Image Synthesis

Zheng Ding, Mengqi Zhang외 2명|arXiv (Cornell University)|2023. 08. 02.

Generative Adversarial Networks and Image SynthesisComputer Science인용 수 3

한 줄 요약

Patch-DM은 작은 64×64 이미지 패치에서 훈련하여 고해상도 이미지 합성(예: 1024×512)을 위한 패치 기반 노이즈 제거 확산 모델을 제안한다. 이는 경계 아티팩트를 제거하기 위해 인접한 이동된 패치에서 특징을 자르고 조합하는 새로운 특징 콜라주 전략을 도입하여, 메모리 복잡도를 감소시키면서도 최신 기술 수준의 FID 점수를 달성한다.

ABSTRACT

We propose an effective denoising diffusion model for generating high-resolution images (e.g., 1024$ imes$512), trained on small-size image patches (e.g., 64$ imes$64). We name our algorithm Patch-DM, in which a new feature collage strategy is designed to avoid the boundary artifact when synthesizing large-size images. Feature collage systematically crops and combines partial features of the neighboring patches to predict the features of a shifted image patch, allowing the seamless generation of the entire image due to the overlap in the patch feature space. Patch-DM produces high-quality image synthesis results on our newly collected dataset of nature images (1024$ imes$512), as well as on standard benchmarks of smaller sizes (256$ imes$256), including LSUN-Bedroom, LSUN-Church, and FFHQ. We compare our method with previous patch-based generation methods and achieve state-of-the-art FID scores on all four datasets. Further, Patch-DM also reduces memory complexity compared to the classic diffusion models.

연구 동기 및 목표

• 높은 메모리 및 계산 비용으로 인해 고해상도 확산 모델을 훈련하는 데 도전하는 문제를 해결한다.
• 패치 기반 이미지 생성에서 발생하는 경계 아티팩트로 인해 패치 경계에서 이미지 품질이 떨어지는 문제를 해결한다.
• 초상화 후처리나 잠재공간 최적화 없이도 직접 고해상도 이미지 합성을 가능하게 한다.
• 전역 일관성과 국소 일관성을 유지하면서도 가벼우며 컴act한 모델을 설계한다.
• 최소한의 파라미터 아키텍처를 사용하여 고해상도 및 표준 벤치마크에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 전체 해상도 이미지가 아닌 작은 이미지 패치(예: 64×64)에서 노이즈 제거 확산 모델을 훈련하여 모델 복잡도를 감소시킨다.
• 중첩된 인접한 패치의 일부 특징을 사용하여 이동된 이미지 패치의 특징을 예측하는 특징 콜라주 전략을 도입한다.
• 슬라이딩 윈도우 메커니즘을 사용하여 위치가 이동된 패치를 생성함으로써 패치 경계를 넘어서 특징 공유와 일관성을 확보한다.
• 전역 의미 조건과 학습 가능한 위치 임베딩을 통합하여 의미 일관성과 공간 정렬을 안내한다.
• 추론 시 윈도우 이동 순서로 패치를 생성하며, 각 패치의 특징은 특징 콜라주를 통해 인접한 패치에서 유래한다.
• 맥락 인식 능력을 활용하여 이미지 생성 및 제로샷 인painting에 모델을 적용한다.

실험 결과

연구 질문

• RQ1 초상화 후처리나 잠재공간 최적화 없이도 패치 기반 확산 모델이 고해상도 이미지 합성에서 높은 품질의 아티팩트 없는 결과를 달성할 수 있는가?
• RQ2 이웃 패치 간의 특징 공유를 효과적으로 모델링하여 패치 기반 생성에서 경계 아티팩트를 제거할 수 있는가?
• RQ3 패치 기반 확산 모델에서 전역 의미 일관성과 국소 구조 일관성을 유지하기 위해 필수적인 구성 요소는 무엇인가?
• RQ4 이미지 품질 측면에서 특징 수준의 윈도우 이동이 픽셀 수준의 이동이나 고정된 패치 생성보다 얼마나 우수한가?
• RQ5 제안된 방법이 재학습 없이도 주변 패치의 맥락 인식 능력을 활용하여 제로샷 인painting에 일반화될 수 있는가?

주요 결과

• Patch-DM은 LSUN-Church 데이터셋(1,000개 샘플)에서 최신 기술 수준의 FID 점수 37.99를 달성하여 이전의 패치 기반 방법을 능가한다.
• 제거 실험 결과 전역 의미 조건과 위치 임베딩이 필수적임을 확인하였으며, 이를 생략할 경우 FID가 각각 79.33과 48.82로 증가한다.
• 콜라주를 통한 특징 수준의 윈도우 이동은 픽셀 공간 이동보다 경계 아티팩트를 크게 감소시키며, 제안된 방법의 FID 점수(고정: 49.80, 랜덤: 52.11)보다 우수한 성능(37.99)을 기록한다.
• 모델은 오직 148M 파라미터만을 사용하여 새로 수집한 자연 이미지 데이터셋에서 고해상도 1024×512 이미지를 생성하여 강력한 확장성을 입증한다.
• Patch-DM은 주변 패치의 맥락적 특징을 활용하여 재학습 없이도 제로샷 이미지 인painting을 가능하게 하며, 마스킹된 영역을 일관되게 복원한다.
• 특징 콜라주 메커니즘은 중첩되고 이동된 패치 생성을 통해 특징 일관성을 보장함으로써 패치 간의 원활한 이미지 합성을 가능하게 한다.