[論文レビュー] Athanor: Authoring Action Modification-based Interactions on Static Visualizations via Natural Language

Can Liu, Jaeuk Lee+4 more|arXiv (Cornell University)|Jan 25, 2026

Data Visualization and Analytics被引用数 0

ひとこと要約

Athanorは、アクション修飾設計空間、マルチエージェント要件解析、実装非依存の可視化抽象翻訳を通じて、静的な可視化を自然言語で対話的に変えることを可能にする。

ABSTRACT

Interactivity is crucial for effective data visualizations. However, it is often challenging to implement interactions for existing static visualizations, since the underlying code and data for existing static visualizations are often not available, and it also takes significant time and effort to enable interactions for them even if the original code and data are available. To fill this gap, we propose Athanor, a novel approach to transform existing static visualizations into interactive ones using multimodal large language models (MLLMs) and natural language instructions. Our approach introduces three key innovations: (1) an action-modification interaction design space that maps visualization interactions into user actions and corresponding adjustments, (2) a multi-agent requirement analyzer that translates natural language instructions into an actionable operational space, and (3) a visualization abstraction transformer that converts static visualizations into flexible and interactive representations regardless of their underlying implementation. Athanor allows users to effortlessly author interactions through natural language instructions, eliminating the need for programming. We conducted two case studies and in-depth interviews with target users to evaluate our approach. The results demonstrate the effectiveness and usability of our approach in allowing users to conveniently enable flexible interactions for static visualizations.

研究の動機と目的

• ソースデータとコードが入手できない場合の静的な可視化に対する対話性追加の難しさを動機づけ、対処する。
• ユーザーの操作を可視化の修正にマッピングする構造化設計空間を提案し、対話作成を可能にする。
• 自然言語要件を実行可能な対話仕様へ変換するマルチエージェント系を導入する。
• 多様な可視化ツールキットを支える実装非依存の可視化表現を提示する。

提案手法

• ユーザー操作（例：ホバー、クリック、ズーム）を可視化の修正（例：強調、フィルタ、エンコード）に結びつけるアクション-修正相互作用設計空間を定義する。
• 自然言語要件を実行可能な仕様へ変換する翻訳・訂正・ガイダンスエージェントを備えたマルチエージェント要件解析を開発する。
• 制約モデルと制御点を用いた実装非依存の制約ベース表現へ静的可視化を変換する可視化抽象翻訳器を作成する。
• SVG可視化を要素抽出・役割識別・制約構築を通じて制約ベース表現へ変換するMLLMベースのパーサを使用する。
• 制約ベースの修正が外観を保持しつつ対話的更新をサポートするよう、制御点間の空間関係に guided された手法で適用する。

Figure 1 : Users can upload existing visualizations in the chart view and present their authoring requirements (a) in the dialogue view. The multi-agent requirement analyzer employs translation, correction, and guidance agents that work collaboratively to translate users’ requirements into specifica

実験結果

リサーチクエスチョン

• RQ1 自然言語指示を静的な可視化の実行可能な対話仕様へ信頼して翻訳するにはどうすべきか。
• RQ2 制約ベースかつ実装非依存の表現は多様な可視化タイプやツールキットをサポートしつつ、対話的修正を可能にできるか。
• RQ3 マルチエージェント要件解析が、静的チャートの実現可能な対話性を生み出すうえで、どの程度要件を訂正・ガイドできるか。

主な発見

• 三部構成のAthanorアーキテクチャは、自然言語を介して静的な可視化に対する対話作成を効果的に可能にする。
• アクション-修正設計空間は、潜在的な対話を「アクション」と「修正」として記述する構造化フレームワークを提供する。
• MLLMベースの制約パーサは、チャート要素とデータエンコード関係を制約モデルへ再構築できる。
• マルチエージェント要件解析は、翻訳・訂正・ガイドを通じてユーザー入力を実現可能な仕様へ変換することで正確性と使いやすさを向上させる。
• ケーススタディとユーザーインタビューは、本アプローチが実用的で、対話的な静的可視化の多様な要件をカバーできることを示唆する。

Figure 2 : The design space of visualization modifications.