[논문 리뷰] FreeU: Free Lunch in Diffusion U-Net

Chenyang Si, Ziqi Huang외 2명|arXiv (Cornell University)|2023. 09. 20.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

FreeU는 추론 시점에서 U-Net 기반 구조와 스킵 연결의 기여도를 재가중하여 확산 모델의 생성 품질을 향상시키는 새로운 방법이다. 추가 학습, 파라미터 또는 계산 비용 없이도 우수한 이미지 및 영상 생성 정밀도를 달성한다. 이는 단순한 스케일링 인자 조정을 통해 Stable Diffusion 및 DreamBooth 등의 모델에서 높은 품질 향상을 이끌어내며, 추론 시에만 적용 가능하다.

ABSTRACT

In this paper, we uncover the untapped potential of diffusion U-Net, which serves as a "free lunch" that substantially improves the generation quality on the fly. We initially investigate the key contributions of the U-Net architecture to the denoising process and identify that its main backbone primarily contributes to denoising, whereas its skip connections mainly introduce high-frequency features into the decoder module, causing the network to overlook the backbone semantics. Capitalizing on this discovery, we propose a simple yet effective method-termed "FreeU" - that enhances generation quality without additional training or finetuning. Our key insight is to strategically re-weight the contributions sourced from the U-Net's skip connections and backbone feature maps, to leverage the strengths of both components of the U-Net architecture. Promising results on image and video generation tasks demonstrate that our FreeU can be readily integrated to existing diffusion models, e.g., Stable Diffusion, DreamBooth, ModelScope, Rerender and ReVersion, to improve the generation quality with only a few lines of code. All you need is to adjust two scaling factors during inference. Project page: https://chenyangsi.top/FreeU/.

연구 동기 및 목표

• 확산 모델 내 U-Net의 미처 탐색되지 않은 내부 역학, 특히 노이즈 제거 과정에서 백본과 스킵 연결 기능이 수행하는 역할의 차이를 탐구한다.
• 스킵 연결이 백본을 지배하여 의미적 이해도가 떨어지고 비정상적인 세부 사항 생성이 발생하는 문제를 해결한다.
• 추론 비용, 학습 또는 모델 복잡도 증가 없이 샘플 품질을 향상시키는 방법을 개발한다.
• 기존 확산 모델에 쉽게 통합되어 다양한 텍스트-이미지 및 텍스트-비디오 작업에서 즉각적인 품질 향상을 가능하게 한다.

제안 방법

• U-Net 디코더 내 백본 및 스킵 연결 기능에 대해 학습 가능한 스케일링 인자를 적용하는 단순한 추론 시점 기법인 FreeU를 제안한다.
• 핵심 구성 요소 두 가지를 도입한다: 백본 기능 스케일링(b)과 스킵 기능 스케일링(s), 이는 주요 U-Net 경로와 스킵 연결의 기여도를 재균형화한다.
• 특징 맵의 공간적 구조를 활용하여 백본 스케일링을 지도하는 적응형 구조 기반 스케일링 인자 지도를 도입하여 과도한 평활화를 줄인다.
• 푸리에 분석을 통해 노이즈 제거 과정에서 고주파 성분이 더 크게 변동함을 확인하여, 스킵 연결 기여도를 제어할 필요성을 정당화한다.
• 각 U-Net 디코더 블록의 연결 이전 특징 공간에서 재가중을 적용함으로써, 백본의 의미 정보를 유지하면서도 고주파 세부 정보를 유지한다.
• 단 두 개의 하이퍼파rameter(b 및 s)만 필요하며, 최소한의 코드 수정으로도 기존의 사전 학습된 확산 모델에 적용 가능하다.

실험 결과

연구 질문

• RQ1 확산 U-Net의 백본과 스킵 연결이 노이즈 제거 과정에서 어떻게 다른 기여를 하는가?
• RQ2 스킵 연결이 세부 정보 향상에 기여함에도 불구하고 의미 품질 저하와 비정상적인 질감 생성을 유도하는 이유는 무엇인가?
• RQ3 스킵 연결 대비 백본 기여도를 재가중함으로써 U-Net 백본의 노이즈 제거 능력을 복원할 수 있는가?
• RQ4 추론 시점에서 단순하고 파라미터가 없는 방법이 계산 비용 증가 없이 샘플 품질을 크게 향상시킬 수 있는가?
• RQ5 구조적 정보 기반 적응형 스케일링이 질감 보존 및 전체적인 이미지 현실성에 미치는 영향은 무엇인가?

주요 결과

• U-Net 백본은 주로 노이즈 제거에 기여하며, 스킵 연결은 고주파 성분을 도입하여 백본의 의미 정보를 손상시킬 수 있다.
• 백본 스케일링(b)만 적용한 FreeU는 세부 정보의 현실성을 향상시킨다. 예를 들어, "보라색 로브를 입은 살찐 토끼"라는 프롬프트에서 기형된 사지 대신 정상적인 사지를 생성한다.
• 백본 및 스킵 기능 스케일링(b & s)을 병합하면 질감의 과도한 평활화가 감소하여, "심파워 스타일의 일몰"과 같은 프롬프트에서 더 현실적인 하늘을 생성한다.
• 구조 기반 스케일링 인자 지도는 고정 스케일링 대비 과도한 평활화 및 색상 과포화를 줄여 세부 정보의 정밀도를 향상시킨다.
• 푸리에 분석 결과 FreeU는 노이즈 제거 과정에서 과도한 고주파 성분을 억제함을 확인하여, 노이즈 제거 목표와 부합함을 입증한다.
• FreeU는 특징 맵의 품질을 향상시킨다. 그림 16에서 볼 수 있듯이, 디코더 내에서 더 구조적이고 일관된 표현이 생성된다.