[논문 리뷰] Towards Natural Language-Based Visualization Authoring

Yun Wang, Zhitao Hou외 6명|arXiv (Cornell University)|2022. 08. 23.

Software Engineering Research인용 수 6

한 줄 요약

이 논문은 자연어 기반의 시각화 저작 파이프라인을 제안하며, 실행 가능한 '편집 작업'—사용자의 편집 의도를 모델링하는 구조화된 명령어—를 통해 언어 이해와 시각화 도구를 분리한다. 딥 러닝 기반의 자연어 해석기(NLI)가 자연어를 이러한 작업으로 번역함으로써 Excel과 Proof-of-Concept 편집기인 VisTalk과 같은 다양한 도구 간 재사용이 가능해지며, 사용자 연구를 통해 그 사용성도 검증되었다.

ABSTRACT

A key challenge to visualization authoring is the process of getting familiar with the complex user interfaces of authoring tools. Natural Language Interface (NLI) presents promising benefits due to its learnability and usability. However, supporting NLIs for authoring tools requires expertise in natural language processing, while existing NLIs are mostly designed for visual analytic workflow. In this paper, we propose an authoring-oriented NLI pipeline by introducing a structured representation of users' visualization editing intents, called editing actions, based on a formative study and an extensive survey on visualization construction tools. The editing actions are executable, and thus decouple natural language interpretation and visualization applications as an intermediate layer. We implement a deep learning-based NL interpreter to translate NL utterances into editing actions. The interpreter is reusable and extensible across authoring tools. The authoring tools only need to map the editing actions into tool-specific operations. To illustrate the usages of the NL interpreter, we implement an Excel chart editor and a proof-of-concept authoring tool, VisTalk. We conduct a user study with VisTalk to understand the usage patterns of NL-based authoring systems. Finally, we discuss observations on how users author charts with natural language, as well as implications for future research.

연구 동기 및 목표

• 복잡한 시각화 저작 도구의 높은 학습 곡선을 완화하기 위해 자연어 입력을 가능하게 한다.
• 기존의 분석 중심 NLI에서 마크 커스터마이제이션이나 레이아웃 변경과 같은 풍부한 편집 의도를 지원하지 못하는 한계를 극복한다.
• 표준화된 중간 계층인 실행 가능한 편집 작업을 통해 자연어 이해와 시각화 응용 프로그램을 분리한다.
• 편집 작업을 공통된 작업 형식으로 추상화함으로써, 다양한 저작 도구 간에 자연어 해석기의 재사용성을 보장한다.
• Excel과 Proof-of-Concept 도구인 VisTalk에서의 구현을 통해 프레임워크의 실현 가능성을 입증한다.

제안 방법

• 편집 의도를 모델링하기 위해 작업, 대상 객체, 매개변수로 구성된 구조화된 튜플인 '편집 작업'을 정의한다.
• 기본적인 편집 작업, 객체, 매개변수를 시각화 도구에서 사용하는 방식을 파악하기 위해 형성적 연구와 문헌 조사를 수행한다.
• 다단계 NLI 해석기 설계: 첫째, 엔티티 식별 및 추상적 인수 치환; 둘째, 시퀀스 레이블링을 통한 의도 및 엔티티 추출; 셋째, 편집 작업의 시퀀스로의 합성.
• 의도 및 엔티티 추출에 딥 러닝 시퀀스 레이블링 모델을 사용하여, 더 많은 훈련 데이터가 제공될 경우 확장성과 유연성을 확보한다.
• 시각화 도구 내에서 편집 작업을 도구 전용 명령어로 변환하는 작업 매핑기 구현.
• 두 가지 구현을 통해 파이프라인 평가: Excel 차트 편집기와 Proof-of-Concept 저작 도구인 VisTalk.

실험 결과

연구 질문

• RQ1 어떻게 자연어 문장으로 표현된 시각화 편집 의도를 실행 가능한 작업으로 체계적으로 모델링할 수 있는가?
• RQ2 공통의 자연어 해석기가 다양한 시각화 저작 도구 간에 얼마나 잘 재사용될 수 있는가?
• RQ3 사용자는 자연어로 시각화 편집 명령을 어떻게 자연스럽게 표현하는가? 그리고 그 사용 패턴은 무엇인가?
• RQ4 마크 변경, 레이아웃 조정, 데이터 바인딩 등의 다양한 편집 의도를 자연어로 지원하기 위해 직면하는 주요 과제는 무엇인가?
• RQ5 정확성과 사용성 유지 조건에서 사용자 문장의 모호함과 다양성을 어떻게 처리할 수 있는가?

주요 결과

• 제안된 편집 작업 추상화는 데이터 바인딩, 마크 커스터마이제이션, 레이아웃 조정 등 다양한 시각화 편집 의도를 성공적으로 모델링한다.
• 딥 러닝 기반의 자연어 해석기는 자연어를 구조화된 편집 작업으로 효과적으로 파싱함으로써 도구 간 재사용이 가능하다.
• VisTalk를 활용한 사용자 연구 결과, 사용자들은 자연어를 통해 효과적으로 시각화를 생성하고 수정할 수 있으며, 가능한 한 고수준 명령어를 선호함을 확인했다.
• 동일한 해석기를 통해 고수준 생성(예: '막대 차트 생성')과 저수준 편집(예: '색상을粉红色로 변경' 또는 '범례를 오른쪽으로 이동')을 모두 지원함을 입증했다.
• 자연어 해석기와 시각화 응용 프로그램 간의 책임 분리 덕분에 모듈러한 개발과 유지보수가 용이해졌다.
• 연구는 사용자가 지원되지 않는 명령어를 입력했을 때 보다 나은 명령어 추천 기능이 필요하다는 점을 강조하며, 향후 범위 인식 피드백 기능 개선이 필요하다.