[논문 리뷰] viz2viz: Prompt-driven stylized visualization generation using a diffusion model

Jiaqi Wu, John Joon Young Chung외 1명|arXiv (Cornell University)|2023. 04. 04.

Data Visualization and Analytics인용 수 4

한 줄 요약

viz2viz는 텍스트 프롬프트를 사용하여 기본 차트(예: 막대, 원, 영역, 네트워크 차트)를 포토 realism 또는 예술적 형태로 변환함으로써 스타일화된 시각화를 생성하는 프ompt 기반의 확산 모델 기반 프레임워크를 소개한다. 이는 데이터 무결성을 유지하면서도 높은 시각적 일관성과 창의적 유연성을 제공하기 위해 스케치, 합성, 보정의 세 단계 요리법과 제어 가능한 확산 파이프라인(ControlNet, img2img, DMP)을 결합한다.

ABSTRACT

Creating stylized visualization requires going beyond the limited, abstract, geometric marks produced by most tools. Rather, the designer builds stylized idioms where the marks are both transformed (e.g., photographs of candles instead of bars) and also synthesized into a 'scene' that pushes the boundaries of traditional visualizations. To support this, we introduce viz2viz, a system for transforming visualizations with a textual prompt to a stylized form. The system follows a high-level recipe that leverages various generative methods to produce new visualizations that retain the properties of the original dataset. While the base recipe is consistent across many visualization types, we demonstrate how it can be specifically adapted to the creation of different visualization types (bar charts, area charts, pie charts, and network visualizations). Our approach introduces techniques for using different prompts for different marks (i.e., each bar can be something completely different) while still retaining image "coherence." We conclude with an evaluation of the approach and discussion on extensions and limitations.

연구 동기 및 목표

• 디자이너가 추상적인 마크(예: 막대, 조각)를 복잡하고 현실적이거나 예술적인 표현(예: 촡, 커피잔, 꽃)으로 대체하는 스타일화된 시각화를 생성할 수 있도록 도와주는 도구의 부족을 해결하기 위해.
• 기존의 생성 모델(DALL-E2, Stable Diffusion 등)이 텍스트 프롬프트에서 스타일화된 시각화를 생성할 때 데이터 대응 관계를 유지하지 못하는 한계를 극복하기 위해.
• 마크 생성과 시나리오 구성 간의 분리를 통해 재사용 가능한 워크플로우를 개발하여, 재학습 없이도 다양한 시각화 유형에 일관되게 적용할 수 있도록 하기 위해.
• 마크가 의미적으로 복잡한 물체(예: 데이터 값에 대한 주사위, 막대에 대한 건물)로 대체되더라도 최종 출력물에서 시각적 일관성과 데이터 무결성을 확보하기 위해.

제안 방법

• 시스템은 세 단계 요리법을 사용한다: (1) 스케치—입력 시각화의 구조를 유지하기 위해 마스크 처리된 단순화된 버전을 생성; (2) 합성—ControlNet 및 깊이2이미지와 같은 제어 메커니즘을 사용하여 확산 모델(예: Stable Diffusion)에 텍스트 프롬프트를 적용해 스타일화된 마크를 생성; (3) 보정—inpainting 및 후처리를 통해 일관성 문제를 수정하고 일관성을 향상.
• DMP(Diffusion Mark Prompting)라는 고유한 파이프라인을 도입하여 원래 마크의 형태와 원하는 스타일화된 객체를 텍스트 프롬프트로 조건화함으로써 확산 과정을 안내함으로써 마크 변환에 대한 정밀한 제어를 가능하게 한다.
• 기존의 제어 가능한 확산 모델(img2img, ControlNet 등)을 활용하여 원본 데이터와 스타일화된 출력 간의 공간적 및 구조적 일치를 유지함으로써 데이터 비율(예: 원형 조각 크기, 막대 높이)이 유지되도록 한다.
• 마스크 처리, 이동, 혼합 등의 이미지 처리 기법을 사용하여 개별 마크를 분리하고 변환한 후 일관된 시각화로 재조립한다.
• 후처리 단계에서 부정적 프롬프트와 파rameter 조정(예: DMP의 beta)을 사용하여 이미지 품질을 향상시키고 잡음 제거.
• 다양한 차트 의미(예: 막대를 캔 스택으로, 네트워크의 노드를 꽃으로)에 맞게 마크 분해 및 재조립 과정을 적응시켜 다양한 시각화 유형으로 일반화된 접근을 구현.

실험 결과

연구 질문

• RQ1 확산 모델이 텍스트 프롬프트를 효과적으로 지시하여 추상적이고 데이터 기반의 시각적 마크를 복잡하고 현실적이거나 예술적인 표현(예: 촛불, 커피잔)으로 변환할 수 있는가? 이 과정에서 기저 데이터 분포가 유지되는가?
• RQ2 한 번의 시각화에서 여러 마크를 의미적으로 풍부한 비기하학적 객체(예: 막대 대신 롤러코스터)로 대체할 경우, 어떻게 시각적 일관성을 유지할 수 있는가?
• RQ3 재사용 가능한 워크플로우(viz2viz 레시피)가 재학습이나 도메인 특화 미세조정 없이도 다양한 시각화 유형(막대, 영역, 원, 네트워크 차트)에 얼마나 잘 적응할 수 있는가?
• RQ4 중간 제어 메커니즘(ControlNet, 깊이 맵, 마스크 등)이 창의적 자유와 데이터 무결성 사이의 균형을 어떻게 담당하는가?
• RQ5 프롬프트 기반의 스타일화된 시각화 생성의 주요 실패 유형과 한계는 무엇이며, 후처리 및 파rameter 조정을 통해 어떻게 이를 완화할 수 있는가?

주요 결과

• viz2viz 프레임워크는 막대, 영역, 원, 네트워크 차트 등 다양한 차트 유형에서 데이터 무결성을 유지하면서도 스타일화된 시각화를 성공적으로 생성하였다. 정성적 예시를 통해 올바른 비율 표현(예: 원형 조각이 데이터 분수에 정확히 맞는 등)이 확인되었다.
• 스케치, 합성, 보정의 세 단계 요리법 덕분에 마크가 복잡한 물체(예: 커피잔, 튤립, 도시경관)로 대체되더라도 시각적 일관성이 유지되었으며, 데이터 구조의 왜곡이 최소한이었다.
• DMP(Diffusion Mark Prompting)의 사용은 개별 마크에 대한 타겟팅된 프롬프트 기반 변환을 가능하게 하였으며, 공간적 관계를 유지함으로써 종래의 엔드 투 엔드 확산 방식보다 생성 과정에 대한 제어력을 크게 향상시켰다.
• 일반적으로 높은 품질의 출력을 얻기 위해 약 10회의 생성이 프롬프트당 필요했으며, 이는 프롬프트 품질과 파rameter 조정이 매우 중요하다는 것을 시사한다. 다만, 시스템의 기본 설정과 반복적 보정 단계 덕분에 성공률이 향상되었다.
• 시각적 또는 색상 대비가 높을 경우(예: 노란 원형 조각 → 빨간 피자 조각) 시스템은 부분적 또는 완전한 실패를 겪을 수 있으나, 생성 후 inpainting을 통해 효과적으로 복구가 가능했다.
• 한계점으로는 일부 정보 이미지(예: 그림 2의 토퍼햇)를 생성하는 데 어려움이 있었으며, 이는 전경-배경 상호작용이 불량하기 때문이었고, 마크 수가 많아지면 확산 과정에서 혼합 잡음이 발생하여 확장성에 어려움이 있었다.