[논문 리뷰] Image Translation as Diffusion Visual Programmers

Cheng Han, James C. Liang외 6명|arXiv (Cornell University)|2024. 01. 18.

Cell Image Analysis Techniques인용 수 10

한 줄 요약

DVP는 RoI 식별, 편집, 로컬라이제이션으로 태스크를 분해하여 제어 가능하고 설명 가능한 이미지 번역을 수행하는 조건-유연한 확산 모델과 GPT 주도 시각 프로그래밍을 결합합니다. 핸드 튜닝된 가이드 스케일에 의존하지 않으면서도 강건하고 고충실도인 변환을 달성합니다.

ABSTRACT

We introduce the novel Diffusion Visual Programmer (DVP), a neuro-symbolic image translation framework. Our proposed DVP seamlessly embeds a condition-flexible diffusion model within the GPT architecture, orchestrating a coherent sequence of visual programs (i.e., computer vision models) for various pro-symbolic steps, which span RoI identification, style transfer, and position manipulation, facilitating transparent and controllable image translation processes. Extensive experiments demonstrate DVP's remarkable performance, surpassing concurrent arts. This success can be attributed to several key features of DVP: First, DVP achieves condition-flexible translation via instance normalization, enabling the model to eliminate sensitivity caused by the manual guidance and optimally focus on textual descriptions for high-quality content generation. Second, the framework enhances in-context reasoning by deciphering intricate high-dimensional concepts in feature spaces into more accessible low-dimensional symbols (e.g., [Prompt], [RoI object]), allowing for localized, context-free editing while maintaining overall coherence. Last but not least, DVP improves systemic controllability and explainability by offering explicit symbolic representations at each programming stage, empowering users to intuitively interpret and modify results. Our research marks a substantial step towards harmonizing artificial image translation processes with cognitive intelligence, promising broader applications.

연구 동기 및 목표

• RoI(Regions of Interest)를 식별하고 맥락을 보존하면서 대상 스타일/콘텐츠 변화를 적용하여 이미지를 번역한다.
• 수동 가이드 스케일에 대한 의존도를 줄이는 조건-유연 확산 모델을 도입한다.
• 고차원 개념을 저차원 기호로 분해하기 위해 시각적 프로그래밍을 통한 맥락 내 추론을 가능하게 한다.
• 제어 가능성과 설명 가능성을 위해 명시적 중간 기호와 단계별 실행 흐름을 제공한다.

제안 방법

• 이미지 편집 프로그램의 순서를 계획하기 위해 GPT 내에 조건-유연 확산 모델을 내장한다.
• 인스턴스 정규화 안내를 사용하여 무조건적 예측과 조건부 예측을 분리하고 수동으로 조정된 가이드 스케일에 대한 의존성을 제거한다.
• 공간적으로 제어 가능한 편집을 위해 이미지 특징과 텍스트 프롬프트를 연결하는 교차 어텐션을 포함한다.
• [Prompt], [RoI object], [Scenario] 같은 기호로 맥락-없는 편집을 가능하게 하는 맥락 내 시각적 프로그래밍을 정의한다.
• GPlan, PG (Prompter), Segment, Inpaint, PM (Position Manipulator) 작업을 갖는 GPT-주도 계획자를 구현한다.
• 변수를 값에 매핑하고 중간 출력을 설명 가능하게 단계별로 실행하는 컴파일러를 통해 프로그램을 실행한다.

실험 결과

연구 질문

• RQ1 수동 가이드 스케일 없이 확산 기반 이미지 변환을 어떻게 조건-유연하게 만들 수 있는가?
• RQ2 신경-기호적 시각 프로그래밍 접근 방식이 전역 일관성을 유지하면서도 정밀한 RoI 중심 편집을 가능하게 할 수 있는가?
• RQ3 명시적 기호적 중간 표현이 이미지 번역의 제어 가능성과 설명 가능성을 향상시키는가?
• RQ4 맥락 내 추론이 고차원 개념을 저차원 기호로 분리하여 맥락-독립 편집을 지원할 수 있는가?

주요 결과

방법	품질	충실도	다양성	CLIP-점수	DINO-점수
VQGAN-CLIP	3.25	3.16	3.29	0.749	0.667
Text2Live	3.55	3.45	3.73	0.785	0.659
SDEDIT	3.37	3.46	3.32	0.754	0.642
Prompt2Prompt	3.82	3.92	3.48	0.825	0.657
DiffuseIT	3.88	3.87	3.57	0.804	0.648
VISPROG	3.86	4.04	3.44	0.813	0.651
DVP (ours)	3.95	4.28	3.56	0.839	0.697

• DVP는 다양한 프롬프트에 걸쳐 충실도 및 품질에서 최첨단 기준선보다 우수하다.
• 인스턴스 정규화 안내는 변환을 안정시키고 가이드 스케일에 대한 민감성을 제거한다.
• 맥락 내 시각적 프로그래밍은 명시적 중간 기호를 통해 투명성을 갖춘 국소적이고 제어 가능한 편집을 가능하게 한다.
• Prompter가 생성한 주석은 라벨 효율성과 최종 이미지 품질을 향상시킨다.
• DVP는 배경 맥락을 보존하면서도 강력한 RoI 중심 번역을 보여준다.
• 사용자 연구 및 CLIP/DINO 지표는 경쟁자보다 더 높은 충실도와 품질을 보인다.