[論文レビュー] viz2viz: Prompt-driven stylized visualization generation using a diffusion model

Jiaqi Wu, John Joon Young Chung+1 more|arXiv (Cornell University)|Apr 4, 2023

Data Visualization and Analytics被引用数 4

ひとこと要約

viz2viz は、テキストプロンプトを用いて基本的なチャート（例：棒グラフ、円グラフ、面グラフ、ネットワーク図）を写真のようにリアルな形や芸術的表現に変換する、プロンプト駆動型で差分モデルに基づくフレームワークを導入する。データの整合性を保ちながら高い視覚的整合性と創造的自由度を実現するため、スケッチ、合成、最適化の3段階のレシピに加え、制御可能な差分パイプライン（例：ControlNet、img2img、DMP）を組み合わせている。

ABSTRACT

Creating stylized visualization requires going beyond the limited, abstract, geometric marks produced by most tools. Rather, the designer builds stylized idioms where the marks are both transformed (e.g., photographs of candles instead of bars) and also synthesized into a 'scene' that pushes the boundaries of traditional visualizations. To support this, we introduce viz2viz, a system for transforming visualizations with a textual prompt to a stylized form. The system follows a high-level recipe that leverages various generative methods to produce new visualizations that retain the properties of the original dataset. While the base recipe is consistent across many visualization types, we demonstrate how it can be specifically adapted to the creation of different visualization types (bar charts, area charts, pie charts, and network visualizations). Our approach introduces techniques for using different prompts for different marks (i.e., each bar can be something completely different) while still retaining image "coherence." We conclude with an evaluation of the approach and discussion on extensions and limitations.

研究の動機と目的

• 抽象的なマーク（例：棒、スライス）が複雑で現実的または芸術的な表現（例：ろうそく、コーヒーカップ、花）に置き換えられるスタイリッシュなビジュアライゼーションを設計者が作成できるツールの不足に対処すること。
• 既存の生成モデル（例：DALL-E2、Stable Diffusion）がテキストプロンプトからのスタイリッシュなビジュアライゼーション生成において、データ対応関係を維持できないという制限を克服すること。
• マーク生成とシーン構成を分離することで、再訓練なしに複数のビジュアライゼーションタイプに一貫して適用可能な柔軟で再利用可能なワークフローを開発すること。
• マークが意味的に複雑な対象（例：データ値に応じた注射器、棒グラフに建物）に置き換えられても、最終出力における視覚的整合性とデータ正確性を保証すること。

提案手法

• 本システムは3段階のレシピを用いる：(1) スケッチ — 入力ビジュアライゼーションの構造を保持するためのマスク付きで簡素化されたバージョンを生成；(2) 合成 — ControlNet や depth2Img などの制御メカニズムを用いて、差分モデル（例：Stable Diffusion）にテキストプロンプトを適用し、スタイリッシュなマークを生成；(3) 最適化 — inpainting と後処理を用いて不整合を是正し、整合性を向上。
• 差分プロセスをマークの形状と望ましいスタイリッシュなオブジェクトの両方に条件づけるために、DMP（Diffusion Mark Prompting）と呼ばれるカスタムパイプラインを導入。これにより、マーク変換に対する精密な制御が可能になる。
• 既存の制御可能な差分モデル（例：img2img、ControlNet）を活用し、元のデータとスタイリッシュな出力の間で空間的・構造的整合性を維持。これにより、データの割合（例：円グラフのスライスの大きさ、棒グラフの高さ）が保たれる。
• マスキング、トランスレーション、ブレンドなどの画像処理技術を用いて、個々のマークを分離・変換し、整合性のあるビジュアライゼーションに再構成。
• 後処理においてネガティブプロンプトとパrameterチューニング（例：DMPにおけるbeta）を用い、画像品質の向上とアーチファクトの低減を図る。
• 異なるチャートの意味論（例：棒をスチールの缶のスタックとして、ノードをネットワーク内の花として）に適応可能なマークの分解と再構成プロセスを用いることで、本アプローチを複数のビジュアライゼーションタイプに一般化。

実験結果

リサーチクエスチョン

• RQ1 差分モデルを、抽象的でデータ駆動のマーク（例：ろうそく、コーヒーカップ）を複雑で現実的または芸術的な表現に変換するように効果的にガイドできるか。この際、元のデータ分布が保持されるか。
• RQ2 1つのビジュアライゼーション内で複数のマークを意味的に豊かな非幾何的オブジェクト（例：棒グラフにローラーコースター）に置き換える際、視覚的整合性をどのように維持できるか。
• RQ3 再トレーニングやドメイン特化のファインチューニングを必要とせず、1つの再利用可能なワークフロー（viz2viz レシピ）を、棒グラフ、面グラフ、円グラフ、ネットワーク図など多様なビジュアライゼーションタイプにどの程度適応できるか。
• RQ4 中間制御メカニズム（例：ControlNet、深度マップ、マスク）が、生成ビジュアライゼーションにおける創造的自由度とデータ正確性のバランスをどのように果たすか。
• RQ5 プロンプト駆動型スタイリッシュなビジュアライゼーション生成における主な失敗モードと制限は何か。また、後処理とパrameterチューニングを用いてそれらをどのように緩和できるか。

主な発見

• viz2viz フレームワークは、棒グラフ、面グラフ、円グラフ、ネットワーク図など複数のチャートタイプにおいて、データ正確性を保持したままスタイリッシュなビジュアライゼーションを生成できることを、定量的例証により示した。具体的には、円グラフのスライスがデータの分率に正確に対応していることが確認された。
• スケッチ、合成、最適化の3段階レシピにより、マークが複雑な対象（例：コーヒーカップ、チューリップ、都市景観）に置き換えられても、高い視覚的整合性が得られ、データ構造の歪みは最小限に抑えられた。
• DMP（Diffusion Mark Prompting）の使用により、個々のマークに対するターゲット指定のプロンプト駆動変換が可能となり、エンドツーエンドの差分モデルに比べて生成プロセスにおける制御性が著しく向上した。
• 平均して、高品質な出力を得るには1つのプロンプトあたり約10回の生成が必要であった。これは、プロンプトの質とパrameterチューニングが極めて重要であることを示唆しているが、デフォルト設定と反復的最適化ステップのおかげで、成功確率は向上した。
• 視覚的または色のコントラストが元のマークと目的のオブジェクトで高い場合（例：イエローサイズの円グラフスライス → 赤いピザスライス）、システムは部分的または完全に失敗することがあるが、生成後の inpainting により効果的に回復できる。
• 制限として、前景と背景の相互作用が不十分な場合（例：図2のトップハット）、特定のインフォメーションマーカー（例：トップハット）の生成が困難であることが判明。また、マークの数が増えると、差分処理中のブレンドアーチファクトによりスケーリングに課題が生じる。