[논문 리뷰] Shape-Guided Diffusion with Inside-Outside Attention

Dong Huk Park, Grace Luo외 6명|arXiv (Cornell University)|2022. 12. 01.

Generative Adversarial Networks and Image Synthesis인용 수 7

한 줄 요약

이 논문은 텍스트-이미지 확산 모델의 형태 인식 편집 성능을 향상시키기 위해, 복원 및 생성 단계에서 Inside-Outside Attention 메커니즘을 도입함으로써 훈련이 필요 없는 Shape-Guided Diffusion를 제안한다. 이 방법은 텍스트 일치도나 이미지 현실감을 희생시키지 않은 채 객체 편집 시 형태의 충실도를 향상시켜, MS-COCO 기반의 새로운 벤치마크에서 다음으로 우수한 기준보다 2.7배 높은 평가자 선호도를 달성한다.

ABSTRACT

We introduce precise object silhouette as a new form of user control in text-to-image diffusion models, which we dub Shape-Guided Diffusion. Our training-free method uses an Inside-Outside Attention mechanism during the inversion and generation process to apply a shape constraint to the cross- and self-attention maps. Our mechanism designates which spatial region is the object (inside) vs. background (outside) then associates edits to the correct region. We demonstrate the efficacy of our method on the shape-guided editing task, where the model must replace an object according to a text prompt and object mask. We curate a new ShapePrompts benchmark derived from MS-COCO and achieve SOTA results in shape faithfulness without a degradation in text alignment or image realism according to both automatic metrics and annotator ratings. Our data and code will be made available at https://shape-guided-diffusion.github.io.

연구 동기 및 목표

• 기존의 텍스트-이미지 확산 모델이 객체를 교체하거나 수정할 때 객체의 형태를 유지하지 못하는 한계를 해결하기 위해.
• 교정 및 생성 단계에서 어텐션 메커니즘을 사용해 형태 제약 조건을 강제하는 훈련이 없는 방법을 개발하기 위해.
• 객체의 윤곽선과 공간적 구조를 유지해야 하는 편집 작업에서 형태 충실도를 평가하기 위해.
• 반드시 수동으로 제공된 마스크뿐 아니라 자동으로 추론된 마스크(예: 반사나 겹치는 인스턴스 등 복잡한 경우 포함)에도 효과적으로 적용될 수 있도록 하기 위해.
• MS-COCO에서 형태 유도 편집을 평가하기 위한 새로운 벤치마크인 ShapePrompts를 구축하기 위해.

제안 방법

• 객체 마스크 내부의 픽셀(내부)과 배경의 픽셀(외부)에만 주의를 기울이는 방식으로, 교차 및 자기 주의 맵을 수정하는 Inside-Outside Attention 메커니즘을 도입한다.
• DDIM 복원 및 이미지 생성 단계 모두에서 주의 제약 조건을 적용하여 잠재 노이즈 내 형태 정보의 유지가 향상되도록 한다.
• 재학습 없이도 작동하도록 고정된 사전 학습된 텍스트-이미지 확산 모델을 사용한다.
• 어 attention 맵에 부드러운 형태 제약 조건을 적용하며, 제약 조건의 종류를 비교한 실험에서 하드 제약 조건보다 성능 향상이 뚜렷하다.
• DDIM 복원을 통해 원본 이미지의 형태를 더 잘 유지하는 노이즈를 복구한 후, 어텐션 제약 조건을 통해 이를 정밀하게 보정한다.
• 객체 수준과 배경 수준의 편집을 모두 지원하며, 별도의 텍스트 프롬프트를 사용해 동시에 내부-외부 편집도 가능하다.

실험 결과

연구 질문

• RQ1 기존의 텍스트-이미지 확산 모델이 객체를 교체하거나 수정할 때 형태를 유지하지 못하는 이유는 무엇인가?
• RQ2 복원 및 생성 단계에서 어텐션 맵을 제약 조건으로 적용하는 훈련이 없는 방법이 형태 충실도 향상에 기여할 수 있는가?
• RQ3 Inside-Outside Attention는 '배경 복사'나 미세조정 기반의 기준 방법과 비교해 어떤가? 특히 객체 형태와 현실감 유지 측면에서 어떻게 다른가?
• RQ4 자동으로 추론된 마스크(예: 텍스트 프롬프트에서 유도된 마스크 또는 복잡한 시나리오의 마스크)에 대해 이 방법이 얼마나 일반화될 수 있는가?
• RQ5 동시에 내부 및 외부 편집을 수행하면서도 공간 일관성과 객체-배경 관계를 유지할 수 있는가?

주요 결과

• 우리 방법은 MS-COCO ShapePrompts 벤치마크에서 최고 성능을 기록했으며, Inside-Outside Attention가 제거된 아블레이션 버전 대비 KW-mIoU가 9.5점 향상되었다.
• 평가자들이 우리 방법을 가장 선호한 비율은 43%로, 다음으로 좋은 기준인 P2P + Shape보다 2.7배 더 자주 선택되었다.
• 이미지의 현실감과 텍스트 일치도를 유지하며, 평가자 중 48%가 이 기준에서 뛰어난 성능을 보였으며, 가장 경쟁력 있는 기준보다 각각 1.3배, 1.9배 높은 평가를 받았다.
• 생성 과정의 첫 번째 반절 동안만 형태 유도 지시를 적용하더라도, Inside-Outside Attention는 초기 단계에서 약한 형태 신호에 의존하는 '배경 복사' 방법보다 더 강력한 형태 신호를 제공한다.
• Inside-Outside Attention가 제거된 아블레이션 버전조차도, P2P + Shape를 제외한 모든 기준보다 뛰어난 성능을 보이며, DDIM 복원과 어텐션 메커니즘이 핵심 역할을 한다는 점을 확인한다.
• 이 방법은 객체 간 내부 및 외부 변환, 배경 편집, 동시에 내부-외부 편집 등 다양한 편집을 성공적으로 수행하며 원본 이미지의 공간적 및 구조적 관계를 유지한다.