[논문 리뷰] Fuzzy-Conditioned Diffusion and Diffusion Projection Attention Applied to Facial Image Correction

Majed El Helou|arXiv (Cornell University)|2023. 01. 01.

Generative Adversarial Networks and Image Synthesis인용 수 1

한 줄 요약

이 논문은 확산 모델의 사전 지식과 이상치 맵을 활용하여 공간적으로 변화하는, 해석 가능한 이미지 복원을 가능하게 하는 퍼지 조건부 확산 및 확산 투영 주의 메커니즘을 제안한다. 이는 기존의 기초 확산 모델에 비해 뛰어난 시각적 정밀도와 해석 가능한 보정 맵을 달성한다.

ABSTRACT

Image diffusion has recently shown remarkable performance in image synthesis and implicitly as an image prior. Such a prior has been used with conditioning to solve the inpainting problem, but only supporting binary user-based conditioning. We derive a fuzzy-conditioned diffusion, where implicit diffusion priors can be exploited with controllable strength. Our fuzzy conditioning can be applied pixel-wise, enabling the modification of different image components to varying degrees. Additionally, we propose an application to facial image correction, where we combine our fuzzy-conditioned diffusion with diffusion-derived attention maps. Our map estimates the degree of anomaly, and we obtain it by projecting on the diffusion space. We show how our approach also leads to interpretable and autonomous facial image correction.

연구 동기 및 목표

• 확산 모델의 이진 조건부 설정을 초월하여 공간적으로 변화하는 퍼지 조건부 설정을 도입함으로써 이미지 인painting의 일반화를 도모한다.
• 기존의 열화 유형에 대한 사전 지식이 없는 상태에서 픽셀 단위의 이상 탐지에 기반한 확산 투영 주의 메커니즘을 개발한다.
• 퍼지 조건부 설정과 확산 사전 지식, 이상치 맵을 융합하여 자율적 얼굴 이미지 보정을 가능하게 한다.
• 각 픽셀의 환각 현상을 제어함으로써 이미지 복원의 시각적 정밀도와 해석 가능성 향상을 도모한다.

제안 방법

• 퍼지 조건부 확산는 학습 가능한 공간적으로 변화하는 가중치 맵을 통해 입력 이미지에 대한 조건부 설정 강도를 제어하여, 이미지 사전 지식의 영향 정도를 부분적 또는 다양하게 조절할 수 있도록 한다.
• 이 방법은 각 확산 단계에서 입력 이미지와 재노이징된 버전을 부드럽고 미분 가능한 가중치 맵 m(x)를 통해 융합함으로써 DDPM 노이즈 제거 과정을 수정한다.
• 확산 투영 주의는 검증 세트에서 확산 모델의 잠재 특성의 기대 활성도를 추정하여 정규화된 이탈 맵을 계산하며, 이는 이상치 픽셀을 식별한다.
• 이상치 맵 m(x)는 A(x)가 기대된 잠재 반응에서의 이탈을 측정하는 바, (1 − A(x))²로 유도되며, 이는 고이상치 영역의 보정을 촉진한다.
• 이 프레임워크는 이상치 맵을 확산 과정에서 퍼지 가이던스 마스크로 적용하여 얼굴 이미지 열화의 자율적 보정을 가능하게 한다.
• 이 방법은 픽셀 단위로 작동하여 국소 이미지 구조를 유지하면서도 학습된 분포 사전 지식에 기반한 이상치 보정을 수행한다.

실험 결과

연구 질문

• RQ1 확산 모델이 생성 과정 중 이미지 사전 지식의 영향 정도를 제어하기 위해 이진이 아닌 공간적으로 변화하는 가중치로 조건부 설정될 수 있는가?
• RQ2 확산 모델을 활용하여 기존의 열화 모델에 대한 사전 지식 없이도 픽셀 단위의 보정에 기반한 이해 가능한 데이터 기반 이상 맵을 생성할 수 있는가?
• RQ3 확산 공간에 기반한 투영 주의 메커니즘은 열화 유형에 대한 사전 지식 없이 분포에서 벗어난 변형을 탐지할 수 있는가?
• RQ4 퍼지 조건부 확산는 표준 확산 모델에 비해 얼굴 이미지 복원에서 얼마나 뛰어난 시각적 정밀도와 해석 가능성 향상을 달성하는가?
• RQ5 퍼지 조건부 설정과 확산 투영 주의 메커니즘의 조합은 완전히 자율적이고 사전 기반의 이미지 보정을 가능하게 하는가?

주요 결과

• 제안된 퍼지 조건부 확산는 다양한 조건부 설정 정도를 갖는 무한한 샘플링 다양성을 가능하게 하여, 이진 조건부 설정 방법인 RePaint보다 비이진 설정 환경에서 뛰어난 성능을 보였다.
• 확산 투영 주의 맵은 합성 훼손 실험을 통해 열화 모델에 대한 사전 지식 없이도 픽셀 단위의 이상을 성공적으로 탐지하였다.
• 이 방법은 표준 DDPM보다 더 뛰어난 시각적 품질을 달성하여 얼굴 이미지 보정에서 정체성과 얼굴 구조를 더 잘 유지하였다.
• 보정 맵 m(x)는 해석 가능하며, 각 픽셀의 환각 정도를 시각적으로 나타내며, 높은 값은 더 큰 이상 영역을 의미한다.
• 모델은 얼굴 열화를 효과적으로 보정하지만, 비면역적 객체(예: 손가락)까지 오류로 제거할 수 있어 도메인 특화된 한계를 보였다.
• 이 프레임워크는 열화 모델을 명시적으로 정의하지 않고도 이미지 사전 지식과 학습된 이상 탐지 기반으로 자율적 보정을 수행함을 입증하였다.