[논문 리뷰] Athanor: Authoring Action Modification-based Interactions on Static Visualizations via Natural Language

Can Liu, Jaeuk Lee외 4명|arXiv (Cornell University)|2026. 01. 25.

Data Visualization and Analytics인용 수 0

한 줄 요약

Athanor는 자연어를 통해 정적 시각화를 인터랙티브한 측면으로 전환하는 것을 가능하게 하며, 이를 위해 action-modification design space, a multi-agent requirement analyzer, 및 an implementation-agnostic visualization abstraction translator를 활용한다.

ABSTRACT

Interactivity is crucial for effective data visualizations. However, it is often challenging to implement interactions for existing static visualizations, since the underlying code and data for existing static visualizations are often not available, and it also takes significant time and effort to enable interactions for them even if the original code and data are available. To fill this gap, we propose Athanor, a novel approach to transform existing static visualizations into interactive ones using multimodal large language models (MLLMs) and natural language instructions. Our approach introduces three key innovations: (1) an action-modification interaction design space that maps visualization interactions into user actions and corresponding adjustments, (2) a multi-agent requirement analyzer that translates natural language instructions into an actionable operational space, and (3) a visualization abstraction transformer that converts static visualizations into flexible and interactive representations regardless of their underlying implementation. Athanor allows users to effortlessly author interactions through natural language instructions, eliminating the need for programming. We conducted two case studies and in-depth interviews with target users to evaluate our approach. The results demonstrate the effectiveness and usability of our approach in allowing users to conveniently enable flexible interactions for static visualizations.

연구 동기 및 목표

• 소스 데이터와 코드가 사용 가능하지 않을 때 정적 시각화에 인터랙티브 기능을 추가하는 어려움을 동기 부여하고 해결한다.
• 인터랙션 작성을 가능하게 하기 위해 사용자의 동작을 시각화 수정으로 매핑하는 구조화된 design space를 제안한다.
• 자연어 요구사항을 실행 가능한 인터랙션 명세로 변환하는 다중 에이전트 시스템을 도입한다.
• 다양한 시각화 도구 키트를 지원하기 위한 구현-무관한 시각화 표현을 제시한다.

제안 방법

• 사용자 동작(예: hover, click, zoom)을 시각화 수정(예: emphasize, filter, encode)으로 연결하는 action-modification interaction design space를 정의한다.
• 자연어 요구사항을 실행 가능한 명세로 변환하기 위해 번역, 수정, 안내 에이전트를 갖춘 다중 에이전트 요구사항 분석기를 개발한다.
• 제약 모델과 제어 포인트를 이용한 구현-무관한 제약 기반 표현으로 정적 시각화를 변환하는 시각화 추상화 번역기를 만든다.
• SVG 시각화를 제약 기반 표현으로 변환하기 위해 요소를 추출하고 역할을 식별하며 제약을 구성하는 MLLM 기반 파서를 사용한다.
• 제약 기반 수정이 모양을 보존하면서도 인터랙티브 업데이트를 지원하도록 제약 기반 수정을 Enable하며, 제어 포인트 간의 공간 관계에 의해 안내된다.

Figure 1 : Users can upload existing visualizations in the chart view and present their authoring requirements (a) in the dialogue view. The multi-agent requirement analyzer employs translation, correction, and guidance agents that work collaboratively to translate users’ requirements into specifica

실험 결과

연구 질문

• RQ1 자연어 지시가 정적 시각화에 대해 실행 가능한 인터랙션 명세로 신뢰성 있게 번역될 수 있는가?
• RQ2 제약 기반의 구현-무관한 표현이 다양한 시각화 유형과 도구 키트를 지원하면서 인터랙티브 수정을 가능하게 할 수 있는가?
• RQ3 다중 에이전트 분석기가 사용자의 요구를 얼마나 정확하고 유용하게 수정하여 정적 차트에 대해 실행 가능한 인터랙션을 산출하게 할 수 있는가?

주요 결과

• 세 부분으로 구성된 Athanor 아키텍처가 자연어를 통해 정적 시각화에 대한 인터랙션 작성을 효과적으로 가능하게 한다.
• action-modification design space는 잠재적 인터랙션을 행동과 수정으로 기술하는 구조화된 프레임워크를 제공한다.
• MLLM 기반 제약 파서는 차트 요소를 추출하고 데이터 인코딩 관계를 제약 모델로 재구성할 수 있다.
• 다중 에이전트 요구사항 분석기는 요구사항을 번역, 수정, 안내함으로써 구현 가능한 명세로의 정확성과 사용성을 높인다.
• 케이스 스터디 및 사용자 인터뷰는 이 접근법이 사용 가능하며 인터랙티브 정적 시각화를 위한 다양한 사용자 요구를 커버할 수 있음을 시사한다.

Figure 2 : The design space of visualization modifications.