[논문 리뷰] Image Harmonization with Diffusion Model

Jiajie Li, Jian Wang외 2명|arXiv (Cornell University)|2023. 06. 17.

Advanced Image Processing TechniquesComputer Science인용 수 3

한 줄 요약

이 논문은 조건부 확산 모델을 사용하여 전경 및 배경 이미지 간의 조명과 색상 일관성을 향상시키는 새로운 이미지 조화 기법을 제안한다. 분류기 유도 및 분류기 자유형 노이즈 제거 확산 프레임워크를 모두 활용하여, 잠재 공간에서 ControlNet의 정밀 캘리브레이션을 통해 훈련하고 색상 이동 메커니즘을 통합함으로써, 더 높은 외관 일관성과 다중 출력 유연성을 확보한 실재감 있는 조화된 복합 이미지를 생성하는 데에 최첨단 성능을 달성한다.

ABSTRACT

Image composition in image editing involves merging a foreground image with a background image to create a composite. Inconsistent lighting conditions between the foreground and background often result in unrealistic composites. Image harmonization addresses this challenge by adjusting illumination and color to achieve visually appealing and consistent outputs. In this paper, we present a novel approach for image harmonization by leveraging diffusion models. We conduct a comparative analysis of two conditional diffusion models, namely Classifier-Guidance and Classifier-Free. Our focus is on addressing the challenge of adjusting illumination and color in foreground images to create visually appealing outputs that seamlessly blend with the background. Through this research, we establish a solid groundwork for future investigations in the realm of diffusion model-based image harmonization.

연구 동기 및 목표

• 전경과 배경 이미지 간에 시각적으로 일치하지 않는 일관성 없는 조명과 색상 문제를 해결하기 위해.
• 기존의 전통적 및 딥러닝 기반 방법의 한계를 극복하기 위해 DDPM 및 LDM를 포함한 확산 모델의 응용을 탐색하기 위해.
• 분류기 유도 및 색상 이동 기법을 통합하여 생성된 조화된 이미지의 외관 일관성을 향상시키기 위해.
• 확산 모델의 확률적 성격을 활용해 다중 출력 생성을 가능하게 하여 사용자에게 다양한 고품질의 조화 옵션을 제공하기 위해.
• 합성 및 실제 세계 복합 데이터셋 모두에서 방법을 검증하여 이상적인 훈련 조건을 초월한 강건성과 일반화 능력을 입증하기 위해.

제안 방법

• 이 방법은 조건부 확산 모델 프레임워크를 사용하여, 분류기 유도 및 분류기 자유형 노이즈 제거 확산 과정을 모두 활용하여 비조화된 입력에서 조화된 이미지를 생성한다.
• 사전 훈련된 Stable Diffusion 모델을 기반으로 한 잠재 확산 모델(LDM)을 사용하며, ControlNet을 통한 미세조정을 통해 이미지 편집 중 공간적 및 의미적 구조를 유지한다.
• 외관 일관성을 유지하면서도 전경 세부 사항을 보존하기 위해, 생성된 이미지에서 색상 통계를 선택적으로 이동시키는 색상 이동 메커니즘이 도입된다.
• 조명 예측을 통해 배경의 조명 신호를 통합하여, 조명의 현실성과 일관성을 향상시킨다.
• 계산 비용을 줄이면서도 고정성 출력 생성을 유지하기 위해, 잠재 공간에서 종단 간(end-to-end)으로 모델을 훈련한다.
• 확산 과정의 본질적 확률적 성격 덕분에 동일한 입력에서 다양한 결과를 생성할 수 있는 다중 출력 생성이 가능해진다.

실험 결과

연구 질문

• RQ1 기존의 전통적 및 딥러닝 기반 방법과 비교할 때, 조건부 확산 모델이 이미지 복합체의 색상과 조명 조화에 효과적으로 기여할 수 있는가?
• RQ2 외관 일관성과 현실성 측면에서, 분류기 유도 및 분류기 자유형 확산 모델 간의 성능 비교는 어떻게 이루어지는가?
• RQ3 색상 이동 및 조명 통합 기법이 조화된 출력의 시각적 품질과 일관성에 얼마나 기여하는가?
• RQ4 확산 모델의 확률적 성격이 다수의 다양한 출력 옵션을 제공하는 데 실질적인 이점을 줄 수 있는가?
• RQ5 이상적인 입력 조건을 갖춘 합성 데이터셋에서 훈련된 후, 이 방법은 실제 세계의 복합 이미지에 얼마나 잘 일반화되는가?

주요 결과

• 제안된 확산 모델 기반 접근 방식은 iHarmony4 및 HCOCO 데이터셋에서 기존 방법들을 크게 능가하는 최첨단 성능을 달성하였으며, 정량적 지표와 시각적 품질 양면에서 뛰어난 성능을 보였다.
• ControlNet 미세조정을 통한 분류기 자유형 LDM은 구조적 및 의미적 일관성이 향상된 고정성 조화 이미지를 생성하였다.
• 색상 이동 통합으로 인해 세부 사항 보존이 크게 향상되었으며, 결과에서 명확한 문자나 물체 특징(예: 장갑에 인쇄된 독해 가능한 문자)이 확인되었다.
• 확산 모델의 확률적 성격을 통한 다중 출력 생성은 사용자에게 다수의 시각적으로 타당한 조화 옵션을 제공하여 창작 응용 분야에서의 융통성과 기능성을 높였다.
• Open Images 및 Flick 데이터셋에서 합성된 이미지에 대해 CDTNet과의 비교를 통해 실제 세계 복합 이미지에 대한 일반화 능력이 뛰어나, 밝기 일치 및 객체 통합 측면에서 최첨단 성능을 뛰어넘었다.
• 기존의 정량적 지표에서는 낮은 점수를 기록했지만, 확산 모델은 더 현실적이며 인지적으로 일관된 결과를 생성하여, 인지적 품질 측면에서의 우월성을 입증하였다.