[논문 리뷰] Fine-grained Image Editing by Pixel-wise Guidance Using Diffusion Models

Naoki Matsunaga, Masato Ishii외 3명|arXiv (Cornell University)|2022. 12. 05.

Advanced Vision and Imaging인용 수 6

한 줄 요약

이 논문은 내용 외부 영역을 유지하면서 세밀하고 제어 가능한 실사 편집을 가능하게 하는 픽셀 수준 가이던스를 갖춘 확산 기반 이미지 편집 프레임워크를 제안한다. 가벼운 픽셀 분류기 학습 및 초기 역확산 단계에서 세그멘테이션 맵 가이던스를 적용함으로써, 레이블 효율성과 빠른 추론을 달성하면서도 품질 높은 편집을 실현한다. 이는 품질과 속도 면에서 GAN 기반 접근법을 능가한다.

ABSTRACT

Our goal is to develop fine-grained real-image editing methods suitable for real-world applications. In this paper, we first summarize four requirements for these methods and propose a novel diffusion-based image editing framework with pixel-wise guidance that satisfies these requirements. Specifically, we train pixel-classifiers with a few annotated data and then infer the segmentation map of a target image. Users then manipulate the map to instruct how the image will be edited. We utilize a pre-trained diffusion model to generate edited images aligned with the user's intention with pixel-wise guidance. The effective combination of proposed guidance and other techniques enables highly controllable editing with preserving the outside of the edited area, which results in meeting our requirements. The experimental results demonstrate that our proposal outperforms the GAN-based method for editing quality and speed.

연구 동기 및 목표

• 실세계 응용에 적합한 높은 제어성과 효율성을 갖춘 세밀한 실사 편집 방법을 개발하기 위해.
• 특히 편집되지 않은 이미지 내용의 보존이 불량한 문제(P.2)를 해결하면서도 높은 품질의 편집을 유지하기 위해 GAN 기반 방법의 한계를 극복하기 위해.
• 사전 학습된 세분화 모델(DatasetDDPM)을 활용해 확산 가이던스에 적합하도록 조정함으로써 최소한의 애너테이션으로도 레이블 효율적인 학습을 가능하게 하기 위해.
• 가속화된 샘플링과 최적화된 가이던스를 통해 GAN 기반 방법과 유사한 빠른 편집 속도를 달성하기 위해.
• 편집 영역 크기에 맞게 최적의 성능을 내도록 하는 파라미터 설정 전략을 제공하기 위해.

제안 방법

• 사전 학습된 확산 모델을 사용하며, 소수의 애너테이션 예제로 학습된 가벼운 세분화 헤드를 통해 픽셀 수준의 가이던스를 적용한다.
• 목표 이미지에 대해 작업에 맞게 미세조정된 레이블 효율적인 세분화 모델(DatasetDDPM)을 사용해 세그멘테이션 맵을 추론한다.
• 역확산 과정 중 특정 시작 노이즈 제거 단계 $t_0$에서 픽셀 수준의 세그멘테이션 손실을 최소화함으로써 가이던스를 적용한다.
• 가이던스 스케일 $s$와 시작 단계 $t_0$는 각 편집 작업에 맞게 최적화되며, 소규모 편집에는 $t_0 = 500$, $s = 100$을, 대규모 편집에는 $t_0 = 750$, $s = 40을 사용한다.
• 빠른 추론 속도를 유지하기 위해 가속화된 샘플링을 사용하여 거의 GAN 수준의 편집 속도를 달성한다.
• 잠재 공간 내삽을 활용해 편집 강도와 일관성을 탐색한다.

실험 결과

연구 질문

• RQ1 확산 모델을 어떻게 픽셀 수준에서 효과적으로 가이던스할 수 있을까? 이는 고해상도의 편집을 가능하게 하기 위함이다.
• RQ2 다양한 편집 영역 크기에 적합한 최적의 시작 노이즈 제거 단계 $t_0$와 가이던스 스케일 $s$ 조합은 무엇인가?
• RQ3 최소한의 애너테이션으로도 높은 편집 품질을 유지하면서 레이블 효율적인 학습을 달성할 수 있는가?
• RQ4 컨트롤러성이나 품질을 희생시키지 않고도 빠른 추론을 확산 기반 편집에서 달성할 수 있는가?
• RQ5 이 방법은 GAN 기반 기준선에 비해 편집되지 않은 이미지 내용을 더 효과적으로 보존할 수 있는가?

주요 결과

• 제안된 방법은 편집 품질과 속도 면에서 GAN 기반 EditGAN을 모두 능가하며, 특히 편집되지 않은 영역과 세부 특징의 보존에서 뛰어난 성능을 보인다.
• 최적의 $t_0$와 $s$ 설정은 편집 영역 크기에 따라 달라지며, 더 큰 영역은 고 $t_0$와 낮은 $s$가 필요하여 잡음이나 기능 왜곡을 방지한다.
• 가벼운 픽셀 분류기를 가이던스로 사용하는 것은 전체 크기의 세분화 모델보다 더 계산 효율적이며, 더 빠른 추론을 가능하게 한다.
• 원본 이미지와 편집된 이미지 사이의 잠재 공간 내삽은 의미 있는 중간 샘플을 생성하며, 안정적이고 연속적인 편집 경로를 시사한다.
• 사람을 장면에서 제거하는 대규모 편집의 경우, 자연스러운 배경 보완을 확보하기 위해 고 $t_0 = 800$이 필요하다.
• 색상 변화(예: 눈이나 머리카락 색상) 처리에는 한계가 있으며, 눈썹이나 입 모양과 같은 작은 복잡한 편집의 경우 수동 조정이 필요하다.