[논문 리뷰] On Conditioning the Input Noise for Controlled Image Generation with Diffusion Models

Vedant Singh, Surgan Jandial외 4명|arXiv (Cornell University)|2022. 05. 08.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 사전 훈련된 분류기의 기울기 역전 과정을 통해 유도된 비정규분포이자 색소 인식 특성을 지닌 전용 '객체 색소 노이즈'를 제작하여, 제어 가능한 이미지 생성을 위한 확산 모델을 조건화하는 방법을 제안한다. 기존 방법들이 노이즈 제거 과정 중에 가이던스를 적용하는 것과 달리, 이 방법은 생성 과정을 초기 노이즈를 통해만 조건화함으로써 더 나은 국소화 및 속성 제어를 달성한다. 실험 결과, 5000단계의 기울기 역전 과정을 거친 노이즈가 이전 단계보다 훨씬 뛰어난 생성 정밀도를 보였음을 확인하였다.

ABSTRACT

Conditional image generation has paved the way for several breakthroughs in image editing, generating stock photos and 3-D object generation. This continues to be a significant area of interest with the rise of new state-of-the-art methods that are based on diffusion models. However, diffusion models provide very little control over the generated image, which led to subsequent works exploring techniques like classifier guidance, that provides a way to trade off diversity with fidelity. In this work, we explore techniques to condition diffusion models with carefully crafted input noise artifacts. This allows generation of images conditioned on semantic attributes. This is different from existing approaches that input Gaussian noise and further introduce conditioning at the diffusion model's inference step. Our experiments over several examples and conditional settings show the potential of our approach.

연구 동기 및 목표

• 확산 모델의 조건부 이미지 생성에서 국소화 및 특정 의미적 속성 강조에 대한 제어 부족 문제를 해결하기 위해.
• 노이즈 제거 과정 중에 가이던스를 적용하는 대신, 입력 노이즈 자체를 조건화하는 것이 생성된 이미지의 제어력과 국소화 능력 향상에 기여할 수 있는지 탐색하기 위해.
• 기울기 역전 과정을 통해 구조적이고 색소 인식 특성을 지닌 노이즈를 생성하여 확산 모델의 입력으로 사용 가능한 방법을 개발하기 위해.
• 노이즈 품질과 정제 단계의 영향을 최종 이미지 생성 품질 및 속성 일치도에 대해 평가하기 위해.

제안 방법

• 사전 훈련된 분류기(ResNet18)에 대해 k단계 동안 Inverting Gradients(IG) 알고리즘을 실행하여 객체 색소 노이즈를 생성한다. 초기에는 난수 정규분포 노이즈를 사용한다.
• IG 과정은 목표 클래스의 활성화를 최대화하면서 기준 이미지와 일치하도록 반복적으로 노이즈를 업데이트함으로써 기울기 기반 최적화를 통해 색소 영역을 강조한다.
• 확산 모델의 훈련 데이터 분포로부터 학습된 평균과 표준편차를 사용하여 노이즈를 정규화하여 호환성을 확보한다.
• 정규화된 노이즈는 사전 훈련된 클래스 조건부 DDPM에 입력으로 사용되며, 표준적인 반복적 노이즈 제거 과정을 통해 이미지를 생성한다.
• 이 방법은 중간 단계의 IG 출력(예: 1000, 3000, 5000단계)을 입력 노이즈로 활용하여 샘플링 중 추가 조건화가 필요 없도록 한다.
• 질적 비교와 노이즈 품질 및 생성 정밀도에 대한 분석 실험을 통해 다수의 클래스와 변환에 대해 평가한다.

실험 결과

연구 질문

• RQ1 입력 노이즈를 객체 위치 및 색소 정보를 인코딩하도록 설계하면, 확산 모델 생성을 직접 제어할 수 있는가?
• RQ2 입력 노이즈의 품질과 정제 수준(예: 1000단계 대비 5000단계)이 생성된 이미지의 정밀도와 국소화 능력에 어떤 영향을 미치는가?
• RQ3 노이즈 제거 과정 중에 가이던스를 적용하는 기존 방법과 비교해 볼 때, 입력 노이즈만으로 조건화하는 방법이 제어력과 다양성 측면에서 우월하거나 보완적인 성능을 보이는가?
• RQ4 동일한 색소 구조를 지닌 노이즈를 여러 클래스와 조건에 걸쳐 재사용하여 일관되고 속성에 일치하는 이미지를 생성할 수 있는가?

주요 결과

• 5000단계의 기울기 역전 과정을 거친 노이즈는 1000단계 노이즈보다 훨씬 뛰어난 국소화 및 이미지 품질을 보이며, 노이즈 정제의 중요성을 입증한다.
• 동일한 객체 색소 노이즈를 사용하면 여러 클래스에 걸쳐 일관되고 속성에 일치하는 이미지를 생성할 수 있어 일반화 가능성과 제어 잠재력이 뛰어나다는 것을 보여준다.
• 입력 노이즈를 회전하거나 뒤집는 것은 생성된 이미지의 방향성까지 동일하게 반영함으로써, 노이즈가 공간적 구조를 인코딩하고 있음을 확인한다.
• ResNet 특징 맵의 색소 맵이나 FGSM 기울기로부터 유도된 노이즈를 입력으로 사용할 경우, IG에 의해 유도된 노이즈보다 덜 명확한 결과를 얻었으며, 이는 IG가 더 호환성 있는 노이즈 분포를 생성한다는 것을 시사한다.
• 생성된 이미지의 배경이 자주 억제되는 경향이 있는데, 이는 객체 색소 노이즈가 본질적으로 전경 객체를 강조하기 때문이며, 배경이 없는 생성에 유리할 수 있음을 시사한다.